Microsoft Word - ES_Haddow.doc Evidence Based Library and Information Practice 2006, 1:4      70 Evidence Based Library and Information Practice       Evidence Summary    A Combination of Citation Analyses Can Reveal the Nature of a Journal’s Scholarly  Communication, Its Influence in a Scientific Community, and the Geographic Location  of Its Authors and Citers.    A review of:  Bonnevie‐Nebelong, Ellen. “Methods for Journal Evaluation: Journal Citation Identity, Journal  Citation Image, and Internationalisation.” Scientometrics 66.2 (Jan. 2006): 411‐24.      Reviewed by:  Gaby Haddow  Senior Librarian, Humanities, Research Services, Library & Information Service  Curtin University of Technology  Perth, Western Australia, Australia  E‐mail: G.Haddow@curtin.edu.au      Received: 28 August 2006            Accepted: 12 October 2006      © 2006 Haddow. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To conduct a number of citation  analyses of the Journal of Documentation  (JDOC), comparing the results with analyses  of the Journal of Information Science (JIS),  and the Journal of the American Society of  Information Science and Technology  (JASIST) to illustrate features of JDOC.     Design – Bibliometric study.    Setting – Library and information science  journal literature.    Sample – Citations given by and given to  the JDOC were analysed and compared to  those from the JASIST and the JIS. Author  affiliation data were analysed from articles  published in JDOC and from articles citing  JDOC. The data were drawn from three time  periods: 1975‐2003, 1980‐2003, and 1990‐2003.    Methods – Journal Citation Identity was  examined for the period 1990‐2003. The  analysis involved calculating the number of  different journals represented by citations  given by a journal in a publishing year. The  resulting citation/citee ratio is indicative of  diversity and extent of scholarly sources  used by a journal. Journal Citation Identity  was also examined by calculating the  number of journal self‐citations (in the  period 1980 to 2003) as a proportion of the  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:4      71 total number of citations given by the  journal. A high rate of journal self‐citations  suggests introspection or isolation from  other journals in its field. The content of the  three journals was examined for the period  1973‐2003 to determine the proportion of  scientific content (i.e. articles, notes, reviews,  and letters).     Journal Citation Image was examined by  calculating journal self‐citations as a  proportion of the citations given by other  journals to the sample journal. The result  signifies the degree of a journal’s visibility in  its field. A second aspect of Journal Citation  Image was investigated using the New  Journal Diffusion Factor (N JDF). The N JDF  was carried out for each year between 1975  and 2003 and calculated the average number  of different journals that cite an article in a  sample journal. A high number of different  citing journals implies influence in the field.  The N JDF for the sample journals was  compared with their Journal Impact Factor  (JIF) over the same period.    Two further analyses of data gathered from  1990 to 2003 were conducted for the Journal  of Documentation. The first identified  journals most frequently co‐cited with JDOC,  an analysis that can locate a journal within  or outside its field. Lastly,  Internationalisation analyses were carried  out for JDOC. Internationalisation relates to  the geographic affiliations of authors of  JDOC articles and of authors citing JDOC.  Geographic affiliation was analysed using  three classifications: affiliation in North  America, Western Europe, or other  geographic locations.    Main results –   Journal Citation Identity: JASIST was found to  have the highest citation/citee ratio at 1.88,  while JDOC and JIS had similar ratios of  1.50 and 1.44 respectively. This finding  suggests JASIST draws its citations from  fewer journals than JDOC and JIS. The  scientific content of JDOC ranged from 18%  to 50% in the period analysed, the lowest  proportion of the three journals. All journals  had seen a reduction in the proportion of  journal self‐citations over 23 years. Average  journal self‐citations for the period were  4.3% for JASIST, 3.9% for JDOC, and 3.4%  for JIS.    Journal Citation Image: The number of journal  self‐citations as a proportion of the total  number of citations given to a journal was  relatively stable for the three journals in the  period 1991‐2003. JASIST had a slightly  higher rate at around 30%, the rate for JDOC  was approximately 15%, and JIS showed the  greatest variation ranging from 25% to 12%.  In the years 1980 to 1990 JIS was found to  have a much higher proportion of journal  self‐citations, spiking to over 85% in 1986.  JDOC and JASIST self‐cited at a rate that  differed little over the full 1980 to 2003  period.     The average N JDF for JDOC increased from  just over 0.3 in 1975 to almost 0.5 in 2003. JIS  had a steady average N JDF around 0.2 and  JASIST an average of just over 0.3 in the  same period. A comparison of the journals’  JIF in these years shows JIS is the only  journal with an average JIF that is  decreasing. The average JIF for JDOC and  JASIST increased.     JASIST was the most frequently co‐cited  journal with JDOC, followed by Information  Processing and Management and JIS.     Internationalisation: A large proportion of  authors publishing in JDOC were affiliated  with Western European institutions with a  general trend showing decreasing numbers  of authors from North America and other  geographic areas. Authors citing JDOC were  predominantly from North America in the  1990s, but by 2002 authors from Western  Europe were citing JDOC in larger numbers.  The proportion of citing authors from other  Evidence Based Library and Information Practice 2006, 1:4      72 regions remained steady at around 10% over  the thirteen year period.    Conclusions – In comparison with JASIST,  the Journal Citation Identity of JDOC shows  a broader scientific base with less  dependence upon articles from its previous  issues. JDOC is cited by a larger number of  other journals than JASIST and JIS,  indicating a higher degree of visibility in the  scholarly community. The journals most  often cited alongside JDOC mark it as firmly  grounded in the field of library and  information science. JDOC is attractive to  Western European authors both as a  publishing channel and as a journal to  which they make reference.     Commentary    In this study, well‐known analyses are  imaginatively applied to three important  research journals in library and information  science. The findings provide an overview  of the journals’ citing practice and the extent  to which the journals are cited by others.     Most of the analyses conducted in this study  are common in the bibliometrics literature. It  is the combination of analyses and the New  Journal Diffusion Factor analysis, a  newcomer to the field, that makes this study  different. The journal diffusion factor was  first proposed in 2002 and modified in 2004  by Frandsen (hence the name New Journal  Diffusion Factor). It is this analysis that  could capture attention, if as the author  suggests, the NJDF emerges as a possible  alternative to the Journal Impact Factor for  evaluating journals.     There are several shortcomings in the way  in which the study is reported. While the  methods follow a pattern like many others  in the field of bibliometrics ‐ from which it  might be assumed that Thomson Scientific  ISI data were used as units of analysis ‐ the  source of citation data is not discussed. The  study focuses on journal‐to‐journal citations  and yet citations to non‐journal literature  would also exist in the sample journals. If  citing characteristics of journals are  indicative of their scientific base and reach  in a field, the number and nature of citations  to non‐journal literature is an important  factor to consider. No mention is made of  these citations. Also confusingly, four  different time spans are used for different  analyses with no explanation as to why.  Interested readers might find answers to a  number of these concerns in a paper co‐ authored by Bonnevie‐Nebelong, also  published in 2006, which reports the same  study in much greater detail.     The analyses discussed in the paper are not  without theoretical interest and could form  the basis of further research, particularly in  regards to the New Journal Diffusion Factor  and Internationalisation. However, it is not  immediately clear how this information  could be utilised by library practitioners.  Bibliometric analyses can be useful in  collection management, although possibly  less so as publishers and database vendors  increasingly package journals.  Interdisciplinary citing patterns and the age  of citations are also aspects of bibliometrics  that might have application for collection  managers making decisions about  acquisition, retention, or disposal of  resources.    The author’s conclusions seem tenuous  based on the information provided in the  paper and do not add a great deal to our  knowledge about the three journals sampled.  They are core research journals in the field  with established reputations. Due to the  (assumed) dependence upon Thomson  Scientific ISI data, it is doubtful that the  alternative methods of journal evaluation  proposed could be applied effectively to a  broader and more diverse journal set.  Furthermore, it is unlikely we will see these  methods used widely in the profession  Evidence Based Library and Information Practice 2006, 1:4      73 unless they are routinely calculated and  published as is the case for the Journal  Impact Factor.     Works Cited    Bonnevie‐Nebelong, Ellen and Tove Faber  Frandsen. “Journal Citation Identity  and Journal Citation Image: A Portrait  of the Journal of Documentation.”  Journal of Documentation 62.1 (2006):  30‐57.    Frandsen, Tove Faber. “Journal Diffusion  Factors – A Measure of Diffusion?”  Aslib Proceedings 56.1 (2004): 5‐11.