Microsoft Word - ES_Perryman.doc Evidence Based Library and Information Practice 2007, 2:3  101 Evidence Based Library and Information Practice       Evidence Summary    Tracking Theory Building and Use Trends in Selected LIS Journals: More Research is  Needed    A review of:  Kim, Sung‐Jin, and Dong Y. Jeong. “An Analysis of the Development and Use of Theory in  Library and Information Science Research Articles.” Library & Information Science  Research 28.4 (Sept. 2006): 548‐62.    Reviewed by:   Carol Perryman  TRLN Doctoral Fellow, School of Information & Library Science, University of North Carolina at  Chapel Hill  Chapel Hill, North Carolina, United States of America  E‐mail: cp1757@gmail.com        Received: 29 May 2007    Accepted: 08 July 2007      © 2007 Perryman. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective ‐ The authors measure theory  incidents occurring in four LIS journals  between 1984‐2003 in order to examine their  number and quality and to analyze them by  topic. A third objective, only identified later  in the text of the study, was to compare  theory development and use between  Korean and international journals. Research  questions asked include whether LIS has its  own theoretical base as a discipline, and  what characteristics the theoretical  framework has.    Design – Bibliometric study.    Setting – Journal issues selected from four     LIS journals for the time span from 1984 ‐  2003.    Subjects – Two international journals,  Journal of the American Society for Information  Science and Technology (JASIST) and Library  and Information Science Research (LISR) were  selected based on their high ranking in the  Social Sciences Citation Index (SSCI) impact  factors. Two Korean journals, Journal of the  Korean Society for Information Management  (JKSIM) and Journal of the Korean Society for  Library and Information Science (JKSLIS) were  selected.     Methods ‐ After having determined a  definition of theory, and identifying  different levels of theory, the authors set up   mailto:cp1757@gmail.com http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:3  102 rules for the identification of theory  incidents, which are defined as “events in  which the author contributed to the  development or the use of theory in his/her  own paper” (550).    Content analysis of 1661 research articles  was performed to measure theory incidents  according to working definitions. Interrater  reliability was ensured by conducting  independent coding for “subfield  classification, identification of theory  incidents, and quality measurement” (555),  using a sample of 199 articles (random  selection not specified), achieving 94‐97%  interrater reliability. Incidents, once  identified, were evaluated for quality using  Dubin’s “efficiency of law” criteria,  involving measures of relatedness,  directionality, co‐variation, rate of change,  and “profundity,” defined as the depth to  which theory is incorporated into the  research study.    Main Results ‐ 21.79% (n=362) of the articles  contained theory incidents that were  analyzed and evaluated. Trend  measurement indicated an overall increase,  although a slight decrease was shown in the  year range 1993‐2003.  International journals  accounted for 61.33% of theory incidents,  compared to 38.67% for the Korean journals.   T‐testing showed that differences in means  between Korean and international journals  were not statistically significant.    Topical theory areas were ranked by  frequency. The top five areas were shown to  be nearly identical between Korean and  international journals. ANOVA was  performed with significant results in the  difference between efficiency ratings.     Conclusion – The authors find that the  overall proportion of theory incidents  including both theory development and use  increased through the 20‐year time span  examined, and that LIS has established its  own theoretical framework based upon the  frequency of incidents.     Commentary    Several significant flaws affect the  applicability of an otherwise interesting and  valuable study. The selection of journals for  inclusion in this study is questionable on  four different points. First, the authors chose  JASIST and LISR based upon their high  impact factor in SSCI, for LIS journals. The  use of these impact factors to select the two  international journals presents problems  that are not discussed by the authors of this  study, although it is possible that journal  space limitations precluded a discussion of  that nature. SSCI is known to index only 30  LIS journals, an issue that the authors make  no attempt to address.     Second, the ranking of “top” journals by  SSCI is not accomplished by any measure of  research quality, but by citation frequency.  According to Gorman and Calvert, “the fact  that paper x is cited y times is not an  indication of its quality – it is available, it is  in a journal held by many libraries, the  author (or publisher or editor) is particularly  good at self promotion” (101). Even if we  accepted the rankings, there is still no  indication that the selected journals are  representative of all international LIS  journals. In fact, it is not proved whether the  four journals are representative of their  respective categories (international and  Korean), yet Kim and Jeong claim  generalizability from their results.    Third, JKSIM and JKSLIS were selected  based upon their status as “top‐ranked in  Korean LIS society,” a statement which is  not further clarified (553).     Fourth, the decision to sample issues of  JASIST rather than to include the entire  volume of publication for the year range  chosen because of the comparatively large  Evidence Based Library and Information Practice 2007, 2:3  103 output of that journal renders later statistical  analysis problematic, and furthermore, may  not be representative of the journal’s  publications. There is no apparent effort to  consider whether that content, for example,  may have included special issues or  supplements. The decision is further  questionable in light of the fact that the  number of issues does not necessarily  correlate with volume of research output,  but the authors appear not to have  considered this when making their selection  decision.     The authors are careful in the literature  review section to explain prior studies of  theory use in disparate literatures, yet the  same care is not carried over to the  methodology section. The determination to  identify theory incidents based upon  whether the concept “has ever been named  as a theory in any article in the sample” (553)  might be interpreted to mean that concepts  broadly accepted as theories, but merely not  mentioned in the issues examined for this  study, were rejected as theory incidents –  possibly resulting in underreporting of data  throughout the study.    The authors excel in clarifying concepts  related to theory building and use, and in  their literature review section in describing  the context for this study. Unfortunately,  there are no directly comparable studies  because earlier efforts measure different  elements or do not measure both  construction and use of theory, as these  authors do. To this reviewer, it appears that  the authors overreach what can reasonably  be achieved within the constraints of a brief  research paper.     An additional problem that should be noted  is the poor quality of editing for this paper:  key statements are muddied by unclear  phrasing. For example, the statement “There  would be room for the intervention of other  factors such as the productivity increase in  article publications, though,” is  grammatically awkward and sheds little  light on a discussion about factors that may  have influenced the apparent increase of  theory incidents in LIS publication (560).    Due to insufficient data, some of the results  are not reproducible. Providing data on  theory incidents by individual journal title  might have enlarged upon the usefulness of  the study. In addition, including articles  from the entire JASIST run would have  given a more accurate accounting of theory  incidents. As it is, the figures are not  meaningful, and since the statistics are not  broken out by journal title the reader cannot  determine if any one of the journals diverges  in any significant way from the others. In  the discussion section the authors claim that  a total of 41.4% of the 1661 articles engage in  either theory building or use, yet no table or  explanation of how this figure is derived is  provided. Adding their own percentages for  theory incidents (25.95% for theory use, and  21.79% for theory building) we arrive  instead at 47.74%.    Additional data would also assist with  comprehension of the ANOVA results.  The  authors provide an F statistic and overall p‐ value demonstrating significant results in  the difference between efficiency ratings,  but do not give individual p‐values to verify  the results. It is far from clear whether the  differences being tested are those between  international and Korean means, or between  total means for each topical category.  An  additional column in Table 4 (557) would  have greatly aided the reader.    This article is most useful in its well‐ constructed general methodology and  categorization of theory topics, as well as in  its careful explanation of theory research,  and would assist researchers in constructing  a more applicable study. The greatest  weaknesses are in the selection of journals  and in the explanation of the results,  Evidence Based Library and Information Practice 2007, 2:3  104 damaging comprehensibility and  applicability for readers. The authors would  have strengthened their argument by  acknowledging the flaws associated with  the journal selection process. Because of  these flaws, applicability of their findings is  severely limited.       Work Cited    Gorman, G.E. and Philip J. Calvert. “Journal  Quality in the Asian Region: Results of  a Pilot Study for the IFLA Round Table  of Library and Information Science  Journals.” Serials Librarian 41.1 (2001):  99‐112.