Microsoft Word - ES_Brown.doc Evidence Based Library and Information Practice 2006, 1:2      23 Evidence Based Library and Information Practice       Evidence Summary    New Search Strategies Optimize MEDLINE Retrieval of Sound Studies on Treatment or  Prevention of Health Disorders    A review of:  Haynes, R. Brian, K. Ann McKibbon, Nancy L. Wilczynski, Stephen D. Walter, and Stephen R.  Were. “Optimal search strategies for retrieving scientifically strong studies of treatment  from Medline: analytical survey.” BMJ 330.7501 (21 May 2005): 1179.    Reviewed by:  Marcy L. Brown  Clinical Medical Librarian  The Western Pennsylvania Hospital, Forbes Regional Campus  Monroeville, Pennsylvania, United States of America    Received: 10 March 2006            Accepted: 21 April 2006      © 2006 Brown. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To develop and test search  strategies for retrieving clinically sound  studies from the MEDLINE database on the  prevention or treatment of health disorders.     Design – Analytical survey.    Subjects – The data sources were articles  about treatment studies selected from 161  journal titles indexed for MEDLINE in the  year 2000.    Setting – MEDLINE database searches  performed at the Health Information  Research Unit, McMaster University, in  Ontario, Canada.     Methods – Researchers hand searched each  issue of 161 journal titles indexed in  MEDLINE in the year 2000 to find treatment  studies. Journal content included internal  medicine, family practice, nursing, and  mental health titles. Selected studies met the  following criteria: randomisation of subjects,  outcome assessment for at least 80% of who  entered the study, and an analysis consistent  with study design. Of 49,028 potential  articles, 6,568 were identified as being  treatment or prevention related, and 1,587  met the evaluation criteria. The study  authors then created search strategies  designed to retrieve articles in MEDLINE  that met the same criteria, while excluding  articles that did not. They compiled a list of  4,862 unique terms related to study criteria,  and tested them using the Ovid  Technologies search platform. Overall,  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:2      24 18,404 multiple‐term search strategies were  tested. Single terms with specificity greater  than 75% and sensitivity greater than 25%  were combined into strategies with two or  more terms. These multiple term strategies  were tested if they yielded sensitivity or  accuracy greater than 75% and specificity of  at least 50%.    Main Results – Of the 4,862 unique terms,  3,807 retrieved citations from MEDLINE  that researchers used to assess sensitivity,  specificity, precision, and accuracy. The  single term that yielded the best accuracy  while keeping sensitivity greater than 50%  was ‘randomized controlled trial.pt.’.The  single term that yielded the best precision  while keeping sensitivity greater than 50%  was also ‘randomized controlled  trial.pt.’.This term also gave the greatest  balance of sensitivity and specificity.  Combination strategies varied. Some two‐ term combinations outperformed single  term strategies and three‐term combinations.  Tables in the article provide the top three  search strategies yielding the highest  sensitivity, specificity, accuracy, and balance  between sensitivity and specificity.     Search strategies with sensitivity greater  than 50% and specificity greater than 95%  were evaluated further by adding search  terms using logistic regression techniques.  The best strategies for maximizing  sensitivity had sensitivity greater than 99%  and specificity higher than 70%. The best  strategies for maximizing specificity had  sensitivity greater than 93% and specificity  more than 97%.     Conclusion – In addition to providing the  best strategies developed in this study,  authors compared their results with the  results from 19 other published strategies.  The published strategies had a sensitivity  range of 1.3% to 98.8% on the basis of the  hand searched articles. These were all lower  than this study’s best sensitivity of 99.3%.  Two strategies published by Dumbrigue,  with specificities of 98.1% and 97.6%,  outperformed this study’s most specific  strategy of 97.4%.    Commentary    The authors clearly state the purpose of the  study, and their choice of an analytical  survey is the appropriate methodology for  this research question. While the methods  are described in detail, the description is  somewhat disjointed and extends into the  section discussing results. Readers might  have been better served by a chronological  discussion of study methods. The authors  provide a straightforward diagram detailing  their data collection procedures.    The authors selected 161 clinical journals to  hand search. Although they do not detail  the process by which these titles were  selected, they direct readers to two prior  studies containing specific methods (Haynes  and Wilczynski, Montori et al.). The journal  list evolved from an iterative process over  several years, based on a hand search  examination of more than 400 journals  recommended by physicians, librarians, and  editors. Other factors used to determine the  journal list included Science Citation Index  impact factors and the authors’ assessment  of the journals’ scientific merit.     The top strategies are presented in a series  of seven tables that are visually streamlined  and easy to read and interpret. Formulas for  calculating sensitivity, specificity, precision,  and accuracy are presented in another table.  Many searchers are familiar with the  concepts of sensitivity and specificity, but  less familiar with precision and accuracy, so  the inclusion of these formulas is important.  Data in Table 4 indicate that the top three  search strategies yielding the highest  specificity had sensitivity greater than 93%,  while the text of the Results section indicates  Evidence Based Library and Information Practice 2006, 1:2      25 this was 94%. This is a minor error and does  not affect the subsequent discussion.    Also curious is why the Dumbrigue  strategies mentioned in the Results section  were not included in the specificity range of  the 19 other published strategies. The  authors write, “The specificities for the  published strategies ranged from 63.3% to  96.6%.” Yet in the next sentence, Dumbrigue  (who is included in the list of the 19  strategies) is credited for having two  strategies with specificity figures of 98.1%  and 97.6%. It is not clear why the one with  the sensitivity greater than 50% was not  included in the range.    The authors point to the reasons why no one  search strategy is perfect. Factors such as  indexing inconsistency, indexing rule  changes over time, and the inclusion of  many non‐clinical journals in MEDLINE  will affect retrieval.    While searching for research evidence is  only one part of the complete skill set  needed to practice evidence based medicine,  it is the one area for which many clinicians  have little or no training. Most clinicians  will not have the time or the patience to  learn to construct multiple‐term search  strategies using controlled vocabulary,  which means that tested and predefined  search strategies become doubly important.  Strategies that have been submitted to  rigorous statistical testing and that have  demonstrated high sensitivity and/or  specificity, can be incorporated into clinical  literature databases to assist novice  searchers in retrieving relevant and  scientifically strong studies.    This is exactly what happened with the  results of this study. The most sensitive and  the most specific search strategies  developed by the study authors have been  incorporated into the PubMed Clinical  Queries search filter and into the search  features of the Ovid Technologies  MEDLINE interface. The single most  optimal strategy was added to Skolar search  options. A busy clinician looking for only  one or two papers most relevant to a  particular clinical question, can use the  Specificity filter. A researcher more  interested in the universe of evidence for a  clinical question can use the Sensitivity filter  to retrieve a larger number of potentially  useful articles.    One problem with the focus of these search  strategies being limited to randomised  controlled trials is that they exclude studies  where randomisation is not possible. Critics  of evidence based practice have previously  written of this problem (Ray, Schelling,  Vincent). Population‐based studies, certain  treatment modalities, cohort studies, and  other study designs are excluded from the  search, potentially leading searchers to  incorrectly conclude that these other papers  are not rigorous or scientifically sound.    This shortcoming aside, this is evidence  based practice at its best. Even librarians  with years of search experience can, and do,  benefit from the work done by this Health  Information Research team to develop and  test high quality search strategies.    Works Cited    Dumbrigue, Herman B., et al. “Assessment  of MEDLINE search strategies for  randomized controlled trials in  prosthodontics.” Journal of  Prosthodontics 9.1 (March 2000): 8‐13.    Haynes, R. Brian, and Nancy L. Wilczynski  for the Hedges Team. “Optimal search  strategies for retrieving scientifically  strong studies of diagnosis from  MEDLINE: analytical survey.” BMJ  328.7447 (1 May 2004): 1024.    Evidence Based Library and Information Practice 2006, 1:2      26 Montori, Victor M., et al. “Optimal search  strategies for retrieving systematic  reviews from MEDLINE: analytical  survey.” BMJ 330.7482 (8 Jan 2005): 68.    Ray, Joel G. “Evidence in upheaval:  Incorporating observational data into  clinical practice.” Archives of Internal  Medicine 162.3 (11 Feb 2002): 249‐54.    Schelling, Franz A. “Clinical trials:  Deliberations on their essence and  value.” Journal of Evaluation in Clinical  Practice 10.2 (May 2004): 291‐96.    Vincent, Jean‐Louis. “Evidence‐based  medicine in the ICU: Important  advances and limitations. Chest 126.2  (August 2004): 592‐600.