Microsoft Word - ES_Haddow.doc Evidence Based Library and Information Practice 2007, 2:2  84 Evidence Based Library and Information Practice       Evidence Summary    Level 1 COUNTER Compliant Vendor Statistics are a Reliable Measure of Journal  Usage    A review of:  Duy, Joanna and Liwen Vaughan. “Can Electronic Journal Usage Data Replace Citation Data as a  Measure of Journal Use? An Empirical Examination.” The Journal of Academic  Librarianship 32.5 (Sept. 2006): 512‐17.    Reviewed by:   Gaby Haddow  Senior Librarian, Humanities, Research Services, Library & Information Service  Curtin University of Technology  Perth, Western Australia, Australia  E‐mail: G.Haddow@curtin.edu.au      Received: 27 February 2007  Accepted: 01 May 2007      © 2007 Haddow. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To identify valid measures of  journal usage by comparing citation data  with print and electronic journal use data.    Design – Bibliometric study.    Setting – Large academic library in Canada.    Subjects – Instances of use were collected  from 11 print journals of the American  Chemical Society (ACS), 9 print journals of  the Royal Society of Chemistry (RSC), and  electronic journals in chemistry and  biochemistry from four publishers – ACS,  RSC, Elsevier, and Wiley. ACS, Elsevier, and  Wiley journals in chemistry‐related subject  areas were sampled for Journal Impact  Factors and citations data from the Institute  for Scientific Information (ISI).    Methods – Journal usage data were  collected to determine if an association  existed between: (1) print and electronic  journal use; (2) electronic journal use and  citations to journals by authors from the  university; and (3) electronic journal use and  Journal Impact Factors.     Between June 2000 and September 2003,  library staff recorded the re‐shelving of  bound volumes and loose issues of 20  journal titles published by the ACS and the  RSC.     Electronic journal usage data were collected  for journals published by ACS, RSC,  Elsevier, and Wiley within the ISI‐defined  mailto:Haddow@curtin.edu.au http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:2  85 chemistry and biochemistry subject area.  Data were drawn from the publishers’ Level  1 COUNTER compliant usage statistics.  These data equate 1 instance of use with a  user viewing an HTML or PDF full text  article. The period of data collection varied,  but at least 2.5 years of data were collected  for each publisher.     Journal Impact Factors were collected for all  ISI chemistry‐related journals published by  ACS, Elsevier, and Wiley for the year 2001.  Library Journal Utilization Reports (purchased  from ISI) were used to determine the  number of times researchers at the  university cited journals in the same set of  chemistry‐related journals over the period  1998 to 2002. The authors call this “local  citation data” (512).    The results from electronic journal use were  also analysed for correlation with the total  number of citations, as reported in the  Journal Citation Reports, for each journal in  the sample.    Main results – The study found a significant  correlation (p<0.01) between the results for  print journal and electronic journal usage. A  similar finding was reported for correlation  between electronic journal usage data and  local citation data (p<0.01). No significant  association was found between Journal  Impact Factors and electronic journal usage  data. However, when an analysis was  conducted for the total number of citations  to the journals (drawn from the Journal  Impact Factor calculations in Journal Citation  Reports) and electronic journal use,  significant correlations were found for all  publishers’ journals.    Conclusion – Within the fields of chemistry  and biochemistry, electronic journal usage  data provided by publishers are an equally  valid method of determining journal usage  as print journal re‐shelving data. The results  of the study indicate this association is valid  even when print journal subscriptions have  ceased. Local citation data (the citations  made by researchers at the institution being  studied) also provide a valid measure of  journal use when compared with electronic  journal usage results. Journal Impact Factors  should be used with caution when libraries  are making journal collection decisions.    Commentary      This study is an excellent example of how a  local project can inform the wider library  community, and encourage further thinking  and research on an issue which is relevant to  many in that community. Although not  radically different to previous journal use  studies, the paper brings a range of methods  together and presents the research in a form  that is readable and easily replicated in  other settings. The research question and  study objectives are clearly stated; the  research methods are appropriate and  discussed in sufficient detail; and the  authors’ conclusions draw directly from the  study’s findings, while acknowledging a  number of limitations.    In their introduction, Duy and Vaughan  discuss different methods of measuring  journal use and the arguments for and  against employing these measures.  Questions relating to the accuracy of journal  re‐shelving data are raised, as are the  limitations of using Journal Impact Factors  in collection development decisions. This  study’s findings indicate journal re‐shelving  data are at least as valid a measure as  publisher data for electronic journal use.  Two alternative inferences can be drawn  from the study’s results: re‐shelving data  and electronic journal use data are equally  useful methods to determine use; or neither  re‐shelving data nor electronic journal use  data are valid measures of journal use. The  authors’ conclusion supports the former,  stating their results suggest vendor supplied  Evidence Based Library and Information Practice 2007, 2:2  86 electronic journal usage data can replace  journal re‐shelving studies.    For librarians involved in journal collection  decisions, the finding that Level 1  COUNTER compliant statistics are a valid  method to determine electronic journal use  is very good news indeed. It provides a  degree of confidence in using these data for  journal collection decisions and it also lends  weight to the argument that all publishers of  electronic journals conform to this standard.    The finding that local citation data are a  useful measure is encouraging and may  provide an alternative when publisher  usage data are not available or not Level 1  COUNTER compliant. It is an alternative  limited by the cost involved in acquiring the  data from ISI and in the number of journals  indexed by ISI. On the other hand, the  study’s results showed no correlation  between Journal Impact Factors and  electronic journal use data which suggests  that some caution is required when  applying Journal Impact Factors in local  collection decisions.   There is one perplexing aspect to the study.  The findings for the usage of electronic  journals published by the Royal Society of  Chemistry are not reported in 2 of the  paper’s tables, although the authors list this  publisher in the methodology section. This  is a minor quibble in what is an  exceptionally relevant and useful study for  librarians grappling with the complexities of  electronic journal subscriptions and  collection management decisions.     As this study is confined to 1 institution and  a limited number of chemistry‐related  journals, it would be unwise to draw  generalisations from it for application in  practice. Further research is needed to  provide a clearer understanding of the most  useful measures of journal usage in different  settings and across a range of subject areas.  For those interested in adding to this body  of knowledge, the study by Duy and  Vaughan is an excellent place to start.