Microsoft Word - ES8_1002_final_final_final Evidence Based Library and Information Practice 2008, 3:1  78 Evidence Based Library and Information Practice       Evidence Summary    Clinician‐selected Electronic Information Resources do not Guarantee Accuracy in  Answering Primary Care Physicians’ Information Needs    A review of:   McKibbon, K. Ann, and Douglas B. Fridsma. “Effectiveness of Clinician‐selected Electronic  Information Resources for Answering Primary Care Physicians’ Information Needs.”  Journal of the American Medical Informatics Association 13.6 (2006): 653‐9.      Reviewed by:  Martha Ingrid Preddie  Doctoral Student, School of Information and Library Science, University of North Carolina at  Chapel Hill, Chapel Hill, North Carolina, United States of America   E‐mail: mipreddie@gmail.com      Received: 24 December 2007     Accepted:  1 March 2008      © 2008 Preddie. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To determine if electronic  information resources selected by primary  care physicians improve their ability to  answer simulated clinical questions.      Design – An observational study utilizing  hour‐long interviews and think‐aloud  protocols.      Setting – The offices and clinics of primary  care physicians in Canada and the United  States.      Subjects – Twenty‐five primary care  physicians of whom 4 were women, 17 were  from Canada, 22 were family physicians,  and 24 were board certified.       Methods – Participants provided responses  to 23 multiple‐choice questions. Each  physician then chose two questions and  looked for the answers utilizing information  resources of their own choice. The search  processes, chosen resources and search  times were noted. These were analyzed  along with data on the accuracy of the  answers and certainties related to the  Evidence Based Library and Information Practice 2008, 3:1  79 answer to each clinical question prior to the  search.       Main results – Twenty‐three physicians  sought answers to 46 simulated clinical  questions. Utilizing only electronic  information resources, physicians spent a  mean of 13.0 (SD 5.5) minutes searching for  answers to the questions, an average of 7.3  (SD 4.0) minutes for the first question and  5.8 (SD 2.2) minutes to answer the second  question.  On average, 1.8 resources were  utilized per question. Resources that  summarized information, such as the  Cochrane Database of Systematic Reviews,  UpToDate and Clinical Evidence, were  favored 39.2% of the time, MEDLINE (Ovid  and PubMed) 35.7%, and Internet resources  including Google 22.6%. Almost 50% of the  search and retrieval strategies were  keyword‐based, while MeSH, subheadings  and limiting were used less frequently. On  average, before searching physicians  answered 10 of 23 (43.5%) questions  accurately. For questions that were searched  using clinician‐selected electronic resources,  18 (39.1%) of the 46 answers were accurate  before searching, while 19 (42.1%) were  accurate after searching. The difference of  one correct answer was due to the answers  from 5 (10.9%) questions changing from  correct to incorrect, while the answers to 6  questions (13.0%) changed from incorrect to  correct. The ability to provide correct  answers differed among the various  resources. Google and Cochrane provided  the correct answers about 50% of the time  while PubMed, Ovid MEDLINE, UpToDate,  Ovid Evidence Based Medicine Reviews and  InfoPOEMs were more likely to be  associated with incorrect answers.  Physicians also seemed unable to determine  when they needed to search for information  in order to make an accurate decision.     Conclusion – Clinician‐selected electronic  information resources did not guarantee  accuracy in the answers provided to  simulated clinical questions. At times the  use of these resources caused physicians to  change self‐determined correct answers to  incorrect ones. The authors state that this  was possibly due to factors such as poor  choice of resources, ineffective search  strategies, time constraints and automation  bias. Library and information practitioners  have an important role to play in identifying  and advocating for appropriate information  resources to be integrated into the electronic  medical record systems provided by health  care institutions to ensure evidence based  health care delivery.     Commentary     This research adds to knowledge base  created by Westbrook, Coirea and Gosling’s  investigation of clinicians’ use of  information resources to answer simulated  clinical questions. Inclusion criteria were  family physicians in Canada and the United  States as well as general internists in the  United States who were attending to  patients regularly in a clinic. There was no  predetermined sampling. Instead,  physicians were selected based on  availability. This resulted in the majority of  the participants being primary care  physicians from the McMaster Online  Rating of Evidence (MORE) system, a  project in which clinicians are involved in  rating published research studies and  systematic review articles. Participants  included faculty members from  departments of family medicine at a  Canadian university and the University of  Pittsburgh. This occurrence introduced  some measure of bias into the study since  those physicians can hardly be regarded as  representative of primary care practitioners  in general.      While the use of interviews was appropriate  in order to discern participants’ experience  and use of computers, electronic resources  and the Internet, the article failed to fully  Evidence Based Library and Information Practice 2008, 3:1  80 describe the application of think‐aloud  protocols, why they were utilized, as well as  how they benefited the study. This  shortcoming makes it difficult to determine  the feasibility of replicating this study in a  different subject group. The study also  failed to indicate how the correct answers to  clinical questions were determined.  However, the majority of the questions  utilized for answering and searching were  used previously in a 2002 study conducted  by Hersh and colleagues. This served to  validate the main data collection instrument.      The researchers acknowledged other  limitations: the small number of  participants, essentially volunteers who  possessed a fervent interest in evidence  based medicine, the focus on primary care  physicians only, and the use of simulated  questions rather than the observation of  physicians seeking information during  actual clinical encounters. Despite these  shortcomings, the findings of the study are  reliable since they mirror the results of  earlier studies in terms of the occurrence of  a considerable number of changed answers  after searching including health care  practitioners changing answers from correct  to incorrect.  [Hersh et al., “Factors  Associated with Successful Answering of  Clinical Questions,” (328); Hersh et al.,  “Factors Associated with Success in  Searching MEDLINE,” (289)]. However, the  results differ somewhat from Westbrook et  al.’s study of clinicians in Australia, where  the findings revealed that notwithstanding  some errors, the use of online information  retrieval systems resulted in “significant  improvement in the quality of answers  provided by clinicians to typical clinical  problems” (315).       While the original study does not suggest  further areas for research, this study could  have benefited from an investigation of the  reasons for physicians’ choice of resources,  search strategies, and acceptance of  provided answers, especially when these  changed from correct to incorrect. Future  research could also explore the relationship  between physicians’ original self‐assessed  skills pertinent to research, database  searching and the Internet, and their  performance in answering clinical questions.  Additionally, the successful use of Google  and Cochrane, along with the unsuccessful  use of the highly touted UpToDate, warrant  further investigation.      The significance of this article to library and  information practice is its    acknowledgement that the use of electronic  information resources by primary care  physicians does not guarantee accuracy in  answering their information needs. The  integration of evidence based information  resources into electronic medical record  systems has the potential to improve  accuracy. Library and information  professionals should assume the  responsibility to advise parent institutions  that, in the integration of information  resources into electronic medical record  systems, designs should facilitate the  retrieval of accurate information by  clinicians, regardless of individual search  competencies. Such systems should provide  easy and effective search capabilities, as well  as the ability to prompt physicians to seek  information from designated evidence based  sources, when an improvement in care is  possible.        Works Cited      Hersh, William R., M. Katherine Crabtree,  David H. Hickam, Lynetta Rose,  and Charles P. Friedman. “Factors  Associated with Successful  Answering of Clinical Questions  Using an Information Retrieval  System.” Bulletin of the Medical  Library Association 88.4 (2000): 323‐ 31.  Evidence Based Library and Information Practice 2008, 3:1  81   Hersh, William R., M. Katherine Crabtree,  David H. Hickam, Lynetta Sacherek,  Charles P. Friedman, Patricia  Tidmarsh, Craig Mosbaek, and Dale  Kraemer. “Factors Associated with  Success in Searching MEDLINE and  Applying Evidence to Answer  Clinical Questions.” Journal of the  American Medical Informatics  Association 9.3 (2002): 283‐93.    Westbrook, Johanna I., Enrico W. Coiera,  and A. Sophie Gosling. “Do Online  Information Retrieval Systems Help  Experienced Clinicians Answer  Clinical Questions?” Journal of the  American Medical Informatics  Association 12.3 (2005): 315‐21.