Microsoft Word - ES4_929_final Evidence Based Library and Information Practice 2008, 3:1  65 Evidence Based Library and Information Practice       Evidence Summary    Varied Search Protocols Lead to Clinically Relevant Results    A review of:  Patel, Manesh R., Connie M. Schardt, Linda L. Sanders, and Sheri A. Keitz. “Randomized Trial  for Answers to Clinical Questions: Evaluating a Pre‐Appraised Versus a MEDLINE  Search Protocol.” Journal of the Medical Library Association 94.4 (2006): 382‐6.       Reviewed by:  Marcy L. Brown  Principal Consultant, Envision Research  Delmont, Pennsylvania, United States of America  E‐mail: marcy@envisionresearch.info      Received : 2 December 2007      Accepted : 11 February 2008      © 2008 Brown. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.    Abstract    Objective – To determine the success rate of  electronic resources for answering clinical  questions by comparing speed, validity, and  applicability of two different protocols for  searching the medical literature.     Design – Randomized trial with results  judged by blinded panel.    Setting – Duke University Medical Center in  Durham, North Carolina, United States of  America.    Subjects – Thirty‐two 2nd and 3rd year  internal medicine residents on an eight‐ week general medicine rotation at the Duke  University Medical Center.     Methods – Two search protocols were  developed:    Protocol A: Participants searched  MEDLINE first, and then searched  pre‐appraised resources if needed.    Protocol B: Participants searched  pre‐appraised resources first, which  included UpToDate, ACP Journal  Club, Cochrane Database of Systematic  Reviews, and DARE. The residents  then searched MEDLINE if an  answer could not be found in the  Evidence Based Library and Information Practice 2008, 3:1  66 initial group of pre‐appraised  resources.    Residents were randomised by computer‐ assisted block order into four blocks of eight  residents each. Two blocks were assigned to  Protocol A, and two to Protocol B. Each day,  residents developed at least one clinical  question related to caring for patients. The  questions were transcribed onto pocket‐ sized cards, with the answer sought later  using the assigned protocol. If answers  weren’t found using either protocol,  searches were permitted in other available  resources.    When an article that answered a question  was found, the resident recorded basic  information about the question and the  answer as well as the time required to find  the answer (less than five minutes; between  five and ten minutes; or more than ten  minutes). Residents were to select answers  that were “methodologically sound and  clinically important” (384). Ten faculty  members formally trained in evidence‐based  medicine (EBM) reviewed a subset of  therapy‐related questions and answers. The  reviewers, who were blinded to the search  protocols, judged the applicability and  internal validity of the answers.     Results – In total, 120 questions were  searched using protocol A and 133 using  protocol B; 104 answers were found by the  protocol A group and 117 by the protocol B  group. In protocol A, 97 answers were  found in MEDLINE (80.8%) and six answers  were found in pre‐appraised resources  (5.0%). In protocol B, 85 answers were found  in pre‐appraised resources (64.6%) and 31  were found in MEDLINE (23.3%). UpToDate  was the major resource for answers in  protocol B.    A statistically greater number of answers  were found in less than five minutes in  protocol B (p<0.00004). However, a greater  number of questions went unanswered in  protocol B (23%).    The faculty reviewers determined that 75.8%  of the answers in protocol A were  applicable; 71.7% were judged applicable in  protocol B. Eighty percent in protocol A  were internally valid, while 81.8% were  valid in protocol B.    Conclusion – The study demonstrates that  to find answers to as many clinical questions  as possible, “residents and clinicians need  access to both pre‐appraised resources and  MEDLINE” (385). Pre‐appraised resources  were faster to search, but their coverage was  not as comprehensive. MEDLINE is  comprehensive, but takes more time to  search effectively and requires that the  clinician or student have some knowledge of  critical appraisal in order to judge relevance  and applicability of found articles. Protocol  B may be difficult to implement in many  institutions because of the high cost of pre‐ appraised resources.    Commentary     This paper adds to a small body of literature  looking at the use of either pre‐appraised  resources or primary literature databases to  answer clinical questions. A 2004 study at  Vanderbilt found that synthesized resources  either completely or partially answered only  60% of complex clinical questions and 68%  of general practice questions (Koonce,  Giuse, and Todd 409). This current research  at Duke is a welcome addition to the  literature on clinical information seeking  because it directly compares synthesized  resources to MEDLINE.     The study’s chief finding reinforces what  many medical librarians already know: that  a variety of resources is necessary to answer  the largest possible number of clinical  questions. It also reinforces the suspicion  that most busy clinicians will only search  Evidence Based Library and Information Practice 2008, 3:1  67 synthesized resources because they are  faster and will answer almost as many  clinical questions as MEDLINE.     Clinicians appear to prefer synthesized, pre‐ appraised resources. In 2005, Brian Alper,  David White, and Bin Ge investigated  clinical results when DynaMed, a pre‐ appraised resource, was added to the  sources usually searched by physicians.  Among those who added DynaMed to their  search arsenals, “significantly more  participants found answers that changed  clinical decision making” (510). The study  did not attempt to rate the quality or  relevance of answers found, nor did it find  that using DynaMed shortened a clinician’s  total search time. Yet it did indicate that the  simple addition of an EBM resource led to  greater clinical reflection and subsequent  change in practice.     One minor problem with the current study  is that the authors reported their findings  inconsistently in Table 2 and in the text  describing Table 2. In the table, the p‐value  is noted as p=0.0004; in the text, the p‐value  is written as p<0.00004. Without  recalculating this value it is impossible to  judge which is correct, but the significance is  likely not affected either way.    The researchers at Duke had the foresight to  use an independent and blinded panel of  EBM teachers and practitioners to judge the  search results. The findings are encouraging,  particularly in light of the questions  unanswered by the 2005 research.  Both  current search protocols generated a high  percentage of applicable and internally valid  clinical answers. Admittedly, the small size  of the sample and the target population  (residents) make it difficult to generalize the  results to all clinician searchers. Clearly,  some searchers can achieve good results  when they rely primarily on synthesized  EBM resources. Larger and broader studies  are now needed to increase our comfort  level with these EBM resources, and to  ensure that they remain comprehensive,  reliable, and usable.      Works Cited    Alper, Brian S., David S. White, and Bin Ge.  “Physicians Answer More Clinical  Questions and Change Clinical  Decisions More Often with  Synthesized Evidence: A  Randomized Trial in Primary Care.”  Annals of Family Medicine 3.6  (2005): 507‐13.    Koonce, Taneya Y., Nunzia Bettinsoli Giuse,  and Pauline Todd. “Evidence‐Based  Databases Versus Primary Medical  Literature: An In‐House  Investigation on Their Optimal  Use.” Journal of the Medical Library  Association 92.4 (2004): 407‐11.