Microsoft Word - ES_Lewis.doc Evidence Based Library and Information Practice 2006, 1:3      57 Evidence Based Library and Information Practice       Evidence Summary    Open Access Articles Have a Greater Research Impact Than Articles Not Freely  Available   A review of:  Antelman, Kristin. “Do Open‐Access Articles Have a Greater Research Impact?” College &  Research Libraries 65.5 (Sep. 2004): 372‐82.    Reviewed by:  Suzanne P. Lewis   Library Manager, Central Coast Sector, Northern Sydney Central Coast Health   Gosford, New South Wales, Australia  E‐mail: slewis@nsccahs.health.nsw.gov.au    Received: 30 May 2006              Accepted: 23 June 2006      © 2006 Lewis. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To ascertain whether open  access articles have a greater research  impact than articles not freely available, as  measured by citations in the ISI Web of  Science database.    Design – Analysis of mean citation rates of a  sample population of journal articles across  four disciplines.    Setting – Journal literature across the  disciplines of philosophy, political science,  mathematics, and electrical and electronic  engineering.    Subjects – A sample of 2,017 articles across  the four disciplines published between 2001  and 2002 (for political science, mathematics,  and electrical and electronic engineering)  and between 1999 and 2000 (for philosophy).     Methods – A systematic presample of  articles for each of the disciplines was taken  to calculate the necessary sample sizes.  Based on this calculation, articles were  sourced from ten leading journals in each  discipline. The leading journals in political  science, mathematics, and electrical and  electronic engineering were defined by ISI’s  Journal Citation Reports for 2002. The ten  leading philosophy journals were selected  using a combination of other methods.    Once the sample population had been  identified, each article title and the number  of citations to each article (in the ISI Web of  Science database) were recorded. Then the  article title was searched in Google and if  any freely available full text version was  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:3      58 found, the article was classified as open  access. The mean citation rate for open  access and non‐open access articles in each  discipline was identified, and the percentage  difference between the means was  calculated.    Main results – The four disciplines  represented a range of open access uptake:  17% of articles in philosophy were open  access, 29% in political science, 37% in  electrical and electronic engineering, and  69% in mathematics. There was a significant  difference in the mean citation rates for open  access articles and non‐open access articles  in all four disciplines. The percentage  difference in means was 45% in philosophy,  51% in electrical and electronic engineering,  86% in political science, and 91% in  mathematics. Mathematics had the highest  rate of open access availability of articles,  but political science had the greatest  difference in mean citation rates, suggesting  there are other, discipline‐specific factors  apart from rate of open access uptake  affecting research impact.    Conclusion – The finding that, across these  four disciplines, open access articles have a  greater research impact than non‐open  access articles, is only one aspect of the  complex changes that are presently taking  place in scholarly publishing and  communication. However, it is useful  information for librarians formulating  strategies for building institutional  repositories, or exploring open access  publishing with patrons or publishers.    Commentary    Journal impact factors have long been of  interest to librarians building or maintaining  core collections and to academics wishing to  be published in high‐impact journals. The  latter group are also interested in how many  times their published research is cited by  other authors. This article, which examines  the research impact of individual articles,  will be of interest to both groups as they face  the challenges and opportunities of open  access publishing.     In this well‐constructed, highly readable  study, Antelman demonstrates that open  access articles have a greater research  impact than non‐open access articles in the  disciplines of philosophy, mathematics,  political science, and electrical and  electronic engineering. The methodology  used in this research is sound: select a  number of high‐impact journals, identify a  sample of articles published in those  journals, and compare the number of  citations to open access versus non‐open  access articles. Enough detail is given in the  methodology section to suggest that the  sample size is sufficient. Articles published  in 2001 and 2002 were selected on the basis  that a two‐year lag between publication and  citation analysis is the commonly accepted  time required for confirmation of impact  (Garfield 92). The time frame was adjusted  for philosophy where there is a lower level  of citation of articles (reference period 1999‐ 2000). The methodology used also takes into  account the skewed distribution of citations  in most fields, where 20% of articles may  account for 80% of citations (Garfield 91), by  using nonparametric methods.    This study raises two main points of  discussion: one in relation to methodology,  which is addressed by the author; and one  in relation to the conclusions drawn from  the study, which the author has addressed  since this article was published.    The study’s methodology is based on using  ‘citedness’ as a measure of research impact.  Citation has long been the standard  measurement of impact in the scholarly  community and the means of mapping  networks of scientific research. However, in  the complex environment of open access  publishing, citation on its own is an  Evidence Based Library and Information Practice 2006, 1:3      59 inadequate measure of research impact. The  author acknowledges this when she states  that “citedness as measured by ISI [Web of  Science] is a measure that is commonly  relied on as a surrogate for [research]  impact.” She admits that this study is  concerned with “the effect of open access on  one traditional and frequently used measure  of research impact” (emphasis added).  Other researchers in the field agree. Steven  Harnad and Tim Brody, for example, have  used the same methodology in their  ongoing collaborative study of 14 million  open access and non‐open access articles  across ten disciplines over ten years.  However, others are developing new  bibliometric methodologies appropriate to  Web environments, giving rise to new terms  such as webometrics, cybermetrics, and  influmetrics (Cronin).     The more problematic issue raised by this  study lies in the conclusions drawn by the  author. This study demonstrates that open  access articles have greater research impact  than non‐open access articles, but it does not  demonstrate that open access causes greater  research impact. Philip M. Davis has  challenged the author on this point by  proposing two alternative explanations for  the greater research impact of open access  articles: article duplication (open access  itself being a form of duplication), and  author self‐promotion (such as posting  articles published in prestigious journals to  an author’s own website) (103‐4).    Antelman has replied that “[w]hile I  intentionally phrased my conclusion as an  association, rather than a causation [. . .]  there clearly is an implied causation and I  should have been more explicit that the data  do not support that” (105). She also  responds that, since conducting the original  research reported in this article, she has  collected additional data which suggests  that author self‐promotion, or “quality bias”  is a significant issue in scholarly publishing.  This study—which, of course, is freely  available online ()—will be  of great interest to academic and special  librarians negotiating the dynamic  environment of open access publishing and  document retrieval. It uses traditional  citation analysis methodology but points to  evolving bibliometrics and new citation  measures. The author achieves the stated  objective of demonstrating that freely  available papers have a greater research  impact than those not freely available online.  However, it is identifying and measuring  the multiple, interdependent factors that  cause the greater impact that poses  challenges for current and future  researchers in this area.    Works Cited    Antelman, Kristin. ʺLetter to the Editor.ʺ  College & Research Libraries 67.2  (2006): 105.    Cronin, Blaise. ʺBibliometrics and Beyond:  Some Thoughts on Web‐Based Citation  Analysis.ʺ Journal of Information  Science 27.1 (2001): 1‐7.    Davis, Philip M. ʺ Letter to the Editor.ʺ  College & Research Libraries 67.2  (2006): 103‐4.    Garfield, Eugene. ʺThe History and Meaning  of the Journal Impact Factor.ʺ JAMA  295.1 (2006): 90‐93.    Harnad, Steven, and Tim Brody.  ʺComparing the Impact of Open Access  (OA) vs. Non‐OA Articles in the Same  Journals.ʺ D‐Lib Magazine 10.6 (2004):  1.    http://www.la%E2%80%90press%00