Microsoft Word - ES_Loy.doc Evidence Based Library and Information Practice 2006, 1:1  104 Evidence Based Library and Information Practice       Evidence Summary    The Randomised Controlled Trial in Medical Research: Using Bibliometric Methods to  Identify Core Journals    A review of: Tsay, Migh‐yueh, and Yen‐hsu Yang. “Bibliometric Analysis of the Literature of     Randomized Controlled Trials.” Journal of the Medical Library Association 93.4 (October  2005): 450‐58.      Reviewed by: John Loy  Learning Resources Manager, Avon & Wiltshire Mental Health Partnership NHS Trust, Barrow  Hospital  Bristol, United Kingdom  E‐mail: John.Loy@awp.nhs.uk    Received: 12 December 2005 Accepted: 21 February 2006     © 2006 Loy. This is an Open Access article distributed under the terms of the Creative Commons Attribution  License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, distribution, and  reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To explore the characteristics  and distribution of randomized controlled  trials (RCTs) in the medical literature. The  study aims to identify the growth patterns  of the RCT, key subject matter, country and  language of publication, and determine a list  of core journals which contain a substantial  proportion of the RCT literature.    Design – Retrospective analysis of RCTs.     Setting – Medical journal literature.    Subjects – A total of 160,213 articles  published between 1965‐2001. Detailed  analysis of a subset numbering 114,850  articles published from 1990‐2001.  Methods – The study seeks to identify all  RCTs in MEDLINE from 1965‐2001, and  examines the growth rate of the RCT. The  authors then do a more detailed analysis on  a subset of data from 1990‐2001, using  Access database and Excel spreadsheet  software, and PERL programming language.  The references were analyzed by five fields  within MEDLINE; publication type, source,  language, country of publication, and  descriptor (subject index).    Main results – An exponential growth rate  for the RCT is demonstrated, suggesting  that in the medical literature development  has not yet matured and that research using  this method continues to grow. A growth  rate for the RCT of 11.2% per annum is  identified.    http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:1  105   The most common form of publication is the  journal article, making up approximately  98% of the RCT literature. Approximately  75% of the RCTs are multicentre trials  indicating that this is the design of choice  adopted by researchers.    The United States proves to be the greatest  source of RCT literature, with 39.9% of  journals and 50.6% of articles originating  there. After the USA, the most productive  countries are England (15.8% of journals and  21.7% articles) and Germany (6.5% journals  and 6.1% articles). As might be expected,  English is the predominant language  providing 92.9% of the total publications. Of  the remaining 7%, German is the most  common language accounting for 2.2%.    The top three areas being researched are:     1. Drug therapy for hypertension    2291 citations  2. Anticancer drug combinations    2140 citations  3. Drug therapy and asthma     1397 citations    Bradford’s law of scattering is successfully  applied, identifying four zones of journals  which each publish approximately 26,000  articles.     Conclusion – The results indicate that  bibliometric methods can be applied to the  medical literature, and highlight those  disciplines in which RCTs more often occur.  A core list of 42 journal titles is presented,  providing busy practitioners with  invaluable guidance as to which journals are  most likely to publish the greater number of  RCTs.    Commentary    Deciding upon which journal titles to  purchase is a fundamental part of library  management, and anything which provides  good solid evidence on which to base these       decisions is naturally very welcome. While  there have been previous studies employing  bibliometric methods to explore RCTs in  specific areas of medicine (Curry, Reeves,  and Stringer; Latronico et al.), this is  believed to be the first such study to include  all areas of the health sciences.     Bradford’s Law of Scattering was first  proposed in 1934, and for anyone a little  rusty in their knowledge, the following  example may serve as a refresher. If a  literature search identifies 300 references,  youʹll likely discover that 100 of those came  from a core group of 5 journals, the next 100  came from a group of 25 journals further  away from the core, and the final 100  citations came from 125 journals on the  outer fringes. Naturally anyone with limited  time and money will focus on the core 5  titles for the greatest return on their  investment. What Tsay and Yang’s research  does is utilize Bradford’s Law to provide  just such a core list for medical libraries.    The single greatest concern with this article,  which appeared in the Journal of the Medical  Library Association, is that it presents itself as  covering all of the literature, whereas in  actual fact it concentrates exclusively on the  MEDLINE literature. This does help  propagate the myth that if you can’t find it  on MEDLINE it doesn’t exist. While the  choice of MEDLINE, generally viewed as  the gold standard, is understandable, this  does introduce potential bias. The database  is produced in North America and  sometimes faces the accusation of being  biased towards the US publications. Why  not also search EMBASE which originates in  the Netherlands and which some view as a  European version of MEDLINE?     The research undoubtedly contributes  towards the range of tools healthcare  librarians can draw upon when making  decisions about our collections. The final list  of 42 core journals will not hold too many  surprises for an experienced practitioner,     Evidence Based Library and Information Practice 2006, 1:1  106   though interestingly, 8 of the top 20 titles  identified are not included in the National  Library of Medicine’s list of core clinical  journals.    The article could have been enhanced with  more methodological detail. We are told  that “each bibliographic record was  downloaded and analyzed” but we are not  provided with the details about what this  actually involved. We do know that analysis  of citations by MeSH (Medical Subject  Headings, the controlled vocabulary  devised by the National Library of Medicine)  takes place, and that the authors used the  major rather than minor descriptors to do  this. However, there is no mention of how  Access, Excel, and PERL programming  language were used to analyze the data.    The authors have published several pieces  on bibliometric analysis in recent years,  including an article from 2003 with an  almost identical title which appears to cover  very similar ground (Tsay and Yang).  Curiously this earlier publication is not  referenced in the JMLA article, and  questions about the relationship between  the two remain unanswered.    An additional minor criticism would be  with presentation of results, as the authors  do have a tendency to move back and forth  between the large data set (1960‐2001) and  the smaller subset of 1990‐2001. The subset  provides the analytical core of the article,  and the reader must keep a close eye on  what exactly is being reported in each table  in order to avoid confusion.    While this research undoubtedly addresses  a worthwhile issue and provides the ever‐    pressed librarian with more evidence to aid  decision making, it must be said that it will  be of most interest to those working in  medical libraries. The final list of 42 journals  is very medically orientated, and those  employed in the wider healthcare arena will  probably view the study as having a more  limited value. Of the top 20 subjects for  RCTs, virtually all of them involve some  form of drug therapy. When it comes to  clinical decision making, RCTs are  acknowledged as one of the most effective  sources of reliable information but they are  certainly not the only form of worthwhile  research. While the RCT is a hugely valuable  research method, it is not appropriate for  every form of therapeutic intervention, and  is not the sole basis upon which to build a  library collection.    Works Cited    Tsay, Ming‐Yueh, and Yen‐Hsu Yang. “A  Bibliometric Study on the Literature of  Randomized Controlled Trials.” Journal  of Information, Communication and  Library Science 9.4 (June 2003): 27‐51.    Curry, Joe I, Barnaby Reeves, and Mark D.  Stringer. “Randomized Controlled  Trials in Pediatric Surgery: Could We  Do Better?” Journal of Pediatric Surgery  38.4 (April 2003): 556‐9.    Latronico, Nicola, et al. “Quality of  Reporting of Randomised Controlled  Trials in the Intensive Care Literature: A  Systematic Analysis of Papers Published  in Intensive Care Medicine Over 26  Years.” Intensive Care Medicine 28.9  (September 2002): 1316‐23.