Evidence Based Library and Information Practice Evidence Based Library and Information Practice 2009, 4:3  Evidence Based Library and Information Practice       Evidence Summary    Scholars in International Relations Cite Books More Frequently than Journals: More  Research is Needed to Better Understand Research Behaviour and Use    A Review of:   Zhang, Li. ʺCitation Analysis for Collection Development: A Study of International Relations Journal  Literature.ʺ Library Collections, Acquisitions, and Technical Services 31.3‐4 (2007): 195‐207.    Reviewed by:  Megan von Isenburg   Associate Director of Public Services, Duke Medical Center Library  Durham, NC, United States of America   E‐mail: megan.vonisenburg@duke.edu     Received: 14 May 2009          Accepted: 14 July 2009      © 2009 von Isenburg. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, distribution,  and reproduction in any medium, provided the original work is properly cited.    Abstract    Objective – To determine primary type,  format, language and subject category of  research materials used by U.S. scholars of  international relations. Also, to investigate  whether research method, qualitative or  quantitative, can be correlated with the type  and age of sources that scholars use.     Design – Citation analysis.    Setting – Research articles published in three  journals on international relations with high  impact factors: International Organization,  International Studies Quarterly, and World  Politics.    Subjects – A random sample of cited  references taken from the 410 full‐length  research articles published in these journals  from 2000 to2005. Cited references of articles  written by authors of foreign institutions (i.e.,  non‐American institutions), as well as cited  references of editorial and research notes,  comments, responses, and review essays were  excluded.     Methods – Cited references were exported  from ISI’s Social Science Citation Index (SSCI)  to MS Excel spreadsheets for analysis. Data  was verified against original reference lists.  Citations were numbered and identified by  source format, place of publication (foreign or  domestic), age, and language used, if other  than English. The author used a random  number generator to select a random sample  of 651 from a total of 29,862 citations. Citations  were randomly drawn from each journal  according to the proportion of the journals’  citations to the total. These citations were  analyzed by material type and language.    52 mailto:megan.vonisenburg@duke.edu http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2009, 4:3  The author also used the Library of Congress  Classification Outline to identify the subject  category of each book and journal citation in  the sample.    A separate sampling method was used to  investigate if there is a relationship between  research methodology and citation behaviour.  Each of the original 410 articles was  categorized according to research method:  quantitative, qualitative or a combination of  the two. Two articles representing qualitative  research and two representing quantitative  research were randomly selected from each of  the three journals for each of the six years.  Subsequently, five citations from each of the  resulting pool of 72 articles were randomly  selected to create a sample of 360 citations.  These citations were analyzed by material type  and age of source.    Main Results – Analysis of the citation data  showed that books (including monographs,  edited books, book chapters and dictionaries)  made up 48.2% of the total citations; journals  (including scholarly and non‐scholarly titles)  made up 38.4% of the citations; and  government publications made up 4.5% of the  citations. Electronic resources, which  primarily refer to Web sites and digital  collections in this study, represented 1.7% of  the citations. Other sources of citations  included magazines (1.1%), newspapers  (1.1%), working papers (1.1%), theses (0.9%),  conference papers not yet published as articles  (0.6%), and a miscellaneous category, which  included items such as committee minutes,  radio broadcasts, unpublished materials and  personal communications (2.5%).    The average age of book citations was 14.3  years and the median age was 8 years. Foreign  language citations represented 3.7% of the 651  total citations. The top ranked foreign  languages were German (7), French (5),  Russian (4), Spanish (3), Korean (2) and  Swedish (number not given    Subject analysis of the citations revealed that  38% of all citations were from international  relations and two related disciplines, political  science, political theory, and public  administration. Subject areas outside  international relations included social sciences  (23.4% ‐ including economics, commerce,  industries and finance), history (16.3%),  sociology (6.2%), and law (5.9%). Citations  from philosophy, psychology, military science  and general works together made up 7.3% of  the total citations. Citations from science,  linguistics, literature, geography and medicine  made up less than 2% of the total.    Authors of qualitative research articles were  more likely to cite books (56.7%) than journals  (29.4%) while authors of quantitative research  articles were more likely to cite journals  (58.3%) than books (28.9%). Authors of  qualitative research articles were also more  likely to cite government publications and  electronic resources than those of quantitative  articles. However, authors of quantitative  research articles were more likely to cite other  materials, such as dissertations, conference  papers, working papers and unpublished  materials.    The age of cited materials for both qualitative  and quantitative research articles is similar.  Citations to recent materials up to 5 years old  were most frequent, followed by materials 6  to10 years old, materials 11 to15 years old, and  those 26 or more years old. The least  frequently cited materials were 16 to 20 and 21  to25 years old.     Conclusion – Scholars in international  relations primarily cite books, followed by  journals and government publications.  Citations to electronic resources such as Web  sites and digital collections, and to other  materials are far less common. Scholars  primarily cite English‐language materials on  international relations and related subjects.  Authors of qualitative research articles are  more likely to cite books than journals, while  authors of quantitative research articles are  more likely to cite journals than books. Recent  materials are more frequently cited than older  materials, though materials that are more than  26 years old are still being cited regularly.    53 Evidence Based Library and Information Practice 2009, 4:3  Commentary    This study offers librarians with collection  development responsibilities in international  relations materials some insight into the  citation behaviour of scholars in the field.  However, the study uses standard bibliometric  techniques and is subject to many of the  limitations common to the practice.    First, the study relies on data extracted from  Social Science Citation Index (SSCI). Zhang  acknowledges that “analyzing journals and  excluding books may not completely reveal  the citation patterns of intellectual  communication in the field of international  relations,” especially given the high reliance  on monographs that this study itself  demonstrates (206). If monographs are  important and frequently used sources in  international relations, then a citation study  that looks only at journal references is only  going to tell part of the story.    Another problem is the discrepancy between  SSCI and each journal’s methodology for  categorizing journal content. For example,  what one journal may consider an article, SSCI  may designate a review article. The author  deals with discrepancies by stating the study’s  inclusion and exclusion criteria explicitly, but  does not explore them further.    A third problem is the issue of self‐citations.   Since the article does not address these, one  can presume that they were not treated  differently from other citations.     With regard to scholars’ use of electronic  resources, the limitations of using SSCI data  raise questions about the finding that scholars  in international relations only cite electronic  sources 1.7% of the time and Zhang’s  conclusion that “electronic resources have  relatively low impact on formal scholarly  communication” (200). If an author cites a  journal or book that is accessible in print and  in digital format, ISI will strip out any data  that would indicate that the source was  electronic, such as access date and  URL(Warwick). Additionally, while most style  manuals require authors to note the method of  access to digital content in their citations,  many may not regularly follow this practice,  preferring to note down the citation as if it  were from a print journal or book. It is  therefore at best an overstatement to imply  that scholars are not using electronic resources  and books and to suggest that scholars may  “not prefer to adopt electronic resources”  (200).    Another weakness in the study stems from the  author’s decision to exclude articles by  scholars at foreign institutions. Given the  global nature of international relations as a  discipline and of academia in general, this  surprising decision most likely led to an  inaccurate and too low percentage of foreign  language materials cited. While this finding  could be applicable to collection development  librarians at U.S. institutions, it does not  accurately describe the international relations  literature as a whole and does not take into  account the fluidity of scholars’ academic  institutional affiliations    Other findings support more reasonable  conclusions that can assist librarians seeking  to make data‐informed collection decisions.  For example, Zhang notes that information  about the age of cited materials could help  librarians decide whether or not to store older  or less‐used materials (205). Another useful  recommendation is that librarians should  explore the types of research done at their  institutions so that they can use the study’s  conclusions to collect more heavily in the  appropriate source material ‐ books for  qualitative research and journals for  quantitative research (206). This  recommendation would be easier to  implement if the author had clearly stated  how qualitative, quantitative and qualitative‐ quantitative methodologies were defined in  the context of this study.    More research is needed to understand  scholarly activity in international relations. In  addition to investigating citation practices in  monographs, it would be of interest to  investigate them in dissertations and theses.  54 Evidence Based Library and Information Practice 2009, 4:3  55 These student publications could shed light on  new developments in the field, especially as  universities initiate new interdisciplinary  programs in global health, environmental  studies, and other areas related to  international relations.    In order to understand fully what kinds of  sources scholars are using, it is essential to  complement a citation study with an  observational or behavioural survey. The 2007  study of student research behaviours at the  University of Rochester has demonstrated the  relevance and applicability of various  ethnographic research methods to library  research (Foster and Gibbons). Future  explorations of scholarly research behaviours  should incorporate these more robust  inquiries to create a better understanding of  how scholars in international relations  approach research.      Works Cited    Foster, Nancy Fried, and Susan Gibbons.  Studying Students: The Undergraduate  Research Project at the University of  Rochester. Chicago: Association of  College and Research Libraries, 2007.    Warwick, Marylou (Thomson Reuters  Technical Support). Phone call. 8 May  2009.