Microsoft Word - ES_Perryman.doc Evidence Based Library and Information Practice 2007, 2:2  81 Evidence Based Library and Information Practice       Evidence Summary    Does a Social Network Based Model of Journal Metrics Improve Ranking?      A review of:  Bollen, Johan, Herbert Van de Sompel, Joan A. Smith and Rick Luce. “Toward Alternative  Metrics of Journal Impact: A Comparison of Download and Citation Data.” Information  Processing and Management 41.6 (2005):1419‐40.    Reviewed by:   Carol Perryman  TRLN Doctoral Fellow, School of Information & Library Science  University of North Carolina at Chapel Hill  Chapel Hill, North Carolina, United States of America  E‐mail: cp1757@gmail.com      Received: 01 March 2007  Accepted: 09 April 2007      © 2007 Perryman. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To test a new model for  measuring journal impact by using  principles of social networking. Research  questions are as follows:  1. Can valid networks of journal  relationships be derived from reader article  download patterns registered in a digital  library’s server logs?  2. Can social network metrics of journal  impact validly be calculated from the  structure of such networks?  3. If so, how do the resulting journal impact  rankings relate to the ISI impact factor (IF)?    Design – Bibliometric, social network  centrality analysis    Setting – Los Alamos National Laboratory  (LANL), New Mexico    Subjects – 40,847 full‐text articles  downloaded from a large digital library by  1,858 unique users over a 6 month period.    Methods – Full‐text article downloads from  a large digital library for a six‐month period  were examined using social networking  analysis methods. ISSNs for journals in  which the retrieved articles were published  were paired based upon the proximity of  use by the same user, based on the  supposition that proximal downloads are  related in some way. Reader‐Generated  Networks (RGNs) were then tested for  small‐world characteristics. The resulting  RGN data were then compared with  Author‐Generated Networks (AGNs) for the  same journals indexed in the Institute of  Scientific Information (ISI) annual impact  factor (IF) rankings, in the Journal Citation  mailto:cp1757@gmail.com http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:2  82 Reports (JCR) database. Next, a sample of  the AGN‐derived pairings was examined by  a team of 22 scientists, who were asked to  rate the strength of relationships between  journals on a five‐point scale.  Centrality  ratings were calculated for the AGN and  RGN sets of journals, as well as for the ISI IF.     Main results – Closeness and centrality  rankings for the ISI IF and the AGN metrics  were low, but significant, suggesting that  centrality metrics are an acceptable impact  metric. Comparison between the RGN and  ISI IF data found marked differences, with  RGN mirroring local population needs to a  much higher degree, and with a non‐ significant correlation between the ISI IF  and RGN ranking, while AGN and RGN  centrality rankings show significant  centrality and closeness and betweenness  correlations. RGN network ranking  identified highly localized foci of interest for  the LANL, as well as “interest‐bridging”  subject areas pointing to possible emerging  interests among the scientists.    Conclusion – The study results appear to  successfully demonstrate an alternative to  existing journal impact ranking that can  more validly and accurately reflect the  practices of a local community. The authors  suggest that the social network‐derived  methodology for identification of impact  rankings avoids biases intrinsic to ISI IF as a  result of frequentist metrics collected from a  global user group. Although the authors  resist the idea of generalizability due to the  local nature of their data, they suggest that  the methodology can be successfully used in  other settings, and for a more global  community. Finally, the authors propose the  automated creation of an open‐source RGN  whose data could be localized for smaller  communities, with potentially large  implications for the existing publishing  industry.      Commentary      Bollen et al. build a compelling case, as  others have done, for the need to find  alternative methods for journal impact  rankings in an era where more and more  grey literature is being published. A  particularly salient point is the concern that  ISI’s impact ranking is based upon a global  community, which does not necessarily  mirror the practices of a local population –  and nor can it do so, based upon its  structure. Similar to ISI, the proposed  methodology concentrates on a subset of the  published literature (specifically, that which  is accessed via a digital library). Although  mention is made of ISI’s exclusion of grey  literature in its rankings, Bollen, et al. do not  discuss how their new journal impact model  might incorporate online or other sources.      One assumption made by the authors is that  downloaded full‐text articles are analogous  to works cited.  In somewhat the same way  that a Google search often retrieves  thousands of false hits, the searcher may  frequently download texts in excess of need.  One could justifiably argue that selection  equals preference, but preference does not  equal final selection.  The result might be  more akin to a “related items” retrieval such  as PubMed performs – useful, interesting,  but not necessarily pertinent.  The authors  address this issue by having scientists  examine journal‐to‐journal connections for  articles downloaded together, asking them  to make judgments about the strength of  thematic similarities. Ultimately, the derived  data are generated from a localized  frequentist model, which is not a quality  judgment. This assumption, operationalized  into a journal impact ranking system, may  introduce error of its own. Additionally, no  mention is made of interrater reliability for  this part of the process, although the expert  examination itself was used as a check  system.     Evidence Based Library and Information Practice 2007, 2:2  83 The authors state that the download  frequencies for individual users are not  particularly significant in terms of journal  impact operations.  Further questions might  be, “At what level is significance reached?”  and whether rankings constructed within  smaller, more localized networks (or those  with less than voluminous downloads) are  less valid than a larger network. Co‐retrieval  frequencies were found to be highly skewed,  with the highest journal retrievals at 22 and  18, but fully 5,250 of the articles were  retrieved only one time.  Comparison with  unique IP addresses might have shown  persistent use by a single user, meaning that  a heavy user could significantly skew the  impact rankings, which might be of concern  to tenure and promotion committees, but no  mention is made of this issue.    The findings of this study about the use of  social networking methodologies to  construct a new journal impact ranking that  is potentially scalable will be of interest to  researchers and those who work with the  existing ISI IF in an institution or other  locality. The authors have advanced the  applicability of small‐world and social  networking metrics to other data, and  provide a reproducible, carefully rigorous,  and clearly written explanation of their  processes.  Other new knowledge provided  by Bollen et al. is a taxonomy of journal  impact rankings, a valuable addition to the  literature on this problematic topic. Finally,  a social networking‐structured impact  methodology has the potential to identify  emerging research trends among local  populations, an important contribution in  itself.