Evidence Based Library and Information Practice Evidence Based Library and Information Practice 2010, 5.2  Evidence Based Library and Information Practice       Evidence Summary    Citation Analysis Shows Promise as an Effective Tool for Monograph Collection  Development    A Review of:  Enger, K. B. (2009). Using citation analysis to develop core book collections in academic libraries.  Library & Information Science Research, 31(2), 107‐112.    Reviewed by:   Scott Marsalis  Social Sciences Librarian, University of Minnesota Libraries  Minneapolis, Minnesota, United States of America  Email: marsa001@umn.edu    Received: 23 Mar. 2010          Accepted: 12 May 2010       2010 Marsalis. This is an Open Access article distributed under the terms of the Creative Commons‐ Attribution‐Noncommercial‐Share Alike License 2.5 Canada (http://creativecommons.org/licenses/by‐nc‐ sa/2.5/ca/), which permits unrestricted use, distribution, and reproduction in any medium, provided the original  work is properly attributed, not used for commercial purposes, and, if transformed, the resulting work is  redistributed under the same or similar license to this one.    Abstract   Objective – To test whether acquiring books  written by authors of highly cited journal  articles is an effective method for building a  collection in the social sciences.    Design – Comparison Study.    Setting – Academic library at a public  university in the US.    Subjects –  A total of 1,359 book titles, selected  by traditional means (n=1,267) or based on  citation analysis (n=92).    Methods – The researchers identified highly‐ ranked authors, defined as the most frequently  cited authors publishing in journals with an  impact factor greater than one, with no more  than six journals in any category, using 1999  ISI data. They included authors in the  categories Business, Anthropology,  Criminology & Penology, Education &  Education Research, Political Science,  Psychology, Sociology/Anthropology, and  General Social Sciences. The Books in Print  bibliographic tool was searched to identify  monographs published by these authors, and  any titles not already owned were purchased.  All books in the study were available to  patrons by Fall 2005. The researchers collected  circulation data in Spring 2007, and used it to  compare titles acquired by this method with  titles selected by traditional means.    Main Results – Overall, books selected by  traditional methods circulated more than  those selected by citation analysis, with  differences significant at the .001 level.  86 mailto:denise.koufogiannakis@ualberta.ca Evidence Based Library and Information Practice 2010, 5.2  However, at the subject category level, there  was no significant difference at the .05 level.  Most books selected by the test method  circulated one to two times.    Conclusion – Citation analysis can be an  effective method for building a relevant book  collection, and may be especially effective for  identifying works relevant to a discipline  beyond local context.      Commentary     Although not without limits, this study was  well designed, and adds depth to the literature  in its investigation of an innovative approach  to collection development. Using Glynn’s  (2006) Critical Appraisal Checklist, the study  scores well for validity. The methodology is  well thought out and is described in detail.  Analysis of results is appropriate and  outcomes are clearly discussed and presented.  While the results may not be generalized  without further research, the study does hold  promise for future researchers? There are,  however, some limitations to the study that  should be considered when planning further  research or application of results.    One primary assumption made by the  investigators of the study was that authors of  journal literature in the social sciences are  likely to also be the authors of important book  literature, an assumption that remains  untested. In fact, Cronin (1997) discovered that  in Sociology literature, there were distinctly  higher sets of frequently cited authors in the  monograph literature versus the journal  literature, lending doubt to the assumption.      While Enger examines the theoretical  underpinnings of citation analysis and reviews  the related literature, she fails to adequately  address some of the primary arguments  against citation analysis, or more specifically,  ISI’s data and methodologies, especially in the  social science context. Noticeably missing in  her literature review is Nederhoff’s review of  citation analysis in the humanities and social  sciences. A more thorough discussion of  variables such as author age stratification,  reasons for citation, US‐centricity and other  factors described in the literature (for example,  Case & Higgins, 2006; Leimu & Koricheva,  2005; Porta, 2006) might have strengthened the  article and assisted readers in using the study  to inform their own decision making.     One problematic aspect of the methodology is  that the books selected by citation analysis  only included titles that had not already been  selected by traditional means. It would have  been interesting to examine the overlap  between the two sets in order to better  understand the strengths and limitations of  each means of selection. The sample of books  selected by citation analysis, perhaps because  of this, is quite small (less than 7% of the total).  It is also unclear what the publication date  range was for each sample. If the books  selected by citation analysis alone were older  (which is likely, considering the citation cycle),  publication date might have been a  confounding variable, since a recent study  found that among books acquired in a specific  year, those with an older publication date  circulated more frequently (Adams, 2008).     There is also some confusion regarding the ISI  Journal Citation Reports (JCR) categories used,  as the lists differ between the abstract, article  text, Table 1 in the article, and my own  consultation of the online ISI JCR for 1999.  General Social Sciences, listed only in the  article text, is not reflected in the current  online product. The article text also lists both  “Anthropology” and  “Sociology/Anthropology”, although the latter  category doesn’t exist in JCR, nor does the  author use it in other places.    Citation analysis, while well established, is in  a dynamic period. Efforts by administrators to  be more “data driven” strengthen the appeal  of measures including ISI’s impact factor, and  ISI is increasingly extending the reach of its  scope to quantify the impact of authors and  institutions. Scopus and Google Scholar are  providing alternative sources of data and new  measures, such as the h‐index and Eigen  factor, are being developed to address  87 Evidence Based Library and Information Practice 2010, 5.2  88 criticisms to ISI’s products. At the same time,  traditional monograph collection development  procedures can be too time consuming as  blended and liaison librarians struggle to  balance increasing and diversifying  workloads. Enger’s study provides an  interesting approach that bears further  exploration.    References   Adams, B. (2008). Circulation statistics in the  evaluation of collection development.  Collection Building, 27(2), 71. doi:  10.1108/01604950810870227.  Case, D. O., & Higgins, G. M. (2000). How can  we investigate citation behavior? A study  of reasons for citing literature in  communication. Journal of the American  Society for Information Science, 51(7), 635‐ 645. doi: 10.1002/(SICI)1097‐ 4571(2000)51:7<635::AID‐ASI6>3.0.CO;2‐ H.   Cronin, B., Snyder, H., & Atkins, H. (1997).  Comparative citation rankings of authors  in monographic and journal literature: A  study of sociology. Journal of  Documentation, 53(3), 263‐273. doi:  10.1108/EUM0000000007200.  Glynn, L. (2006). A critical appraisal tool for  library and information research. Library  Hi Tech, 24(3), 387‐399. doi:  10.1108/07378830610692154.  Leimu, R., & Koricheva, J. (2005). What  determines the citation frequency of  ecological papers? Trends in Ecology  Evolution, 20(1), 28. doi:  10.1016/j.tree.2004.10.010.   Nisonger, T. E. (2004). The benefits and  drawbacks of impact factor for journal  collection management in libraries. The  Serials Librarian, 47(1‐2), 57. doi:  10.1300/J123v47n01_04.  Oromaner, M. (1981). The quality of scientific  scholarship and the ʺgrayingʺ of the  academic profession: A skeptical view.  Research in Higher Education, 15(3), 231.  doi: 10.1007/BF00976418.  Porta, M. (2006). Commentary: The  ʹbibliographic impact factorʹ and the still  uncharted sociology of epidemiology.  International Journal of Epidemiology, 35(5),  1130. doi: 10.1093/ije/dyl196.