Microsoft Word - ES_Hannigan.doc Evidence Based Library and Information Practice 2007, 2:4  61 Evidence Based Library and Information Practice       Evidence Summary    Risk Profile May Affect Search Process but Not Results       A review of:  McKibbon, K. Ann, Douglas B. Fridsma, and Rebecca S. Crowley. “How Primary Care  Physicians’ Attitudes Toward Risk and Uncertainty Affect Their Use of Electronic  Information Resources.” Journal of the Medical Library Association 95.2 (2007): 138‐46,  e49‐50. 10 Nov. 2007  .       Reviewed by:   Gale G. Hannigan  Professor, Texas A&M Medical Sciences Library  College Station, Texas, United States of America  E‐mail: g‐hannigan@tamu.edu        Received: 01 September 2007    Accepted: 14 October 2007      © 2007 Hannigan. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To compare the use, in terms of  process and outcomes, of electronic  information resources by primary care  physicians with different risk profiles and  comfort with uncertainty.    Design – Survey, and observation using  “think‐aloud” method.    Setting – Physicians’ offices.    Subjects – Canadian and U.S. primary care  physicians who report seeing patients in  clinic settings.    Methods – Volunteers were recruited from  personal contacts and the list of physicians  who rate current studies for the McMaster  Online Rating of Evidence (MORE) project.  Physicians completed the Pearson scale to  measure attitude toward risk and the  Gerrity scale to measure comfort with  uncertainty, and those who scored at the  extremes of each of these two scales were  included in the study (n=25), resulting in  four groups (risk‐seeking, risk‐avoiding,  uncertainty‐stressed, uncertainty‐ unstressed). One researcher observed each  of these physicians in their offices for an  hour during which they completed  questionnaires about their computer skills  and familiarity with resources, answered  http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=1852627 mailto:hannigan@tamu.edu http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:4  62 multiple‐choice clinical questions, and  indicated level of certainty with regard to  those answers (scale of 0 to 100%).  Physicians also chose two of the clinical  questions to answer using their own  resources. The think‐aloud method was  employed, and transcripts were coded and  analyzed.    Main results – The study analysis included  two comparisons: risk‐seeking (11 subjects)  versus risk‐avoiding (11 subjects) physicians,  and uncertainty‐stressed (11 subjects) versus  uncertainty‐unstressed (10 subjects)  physicians. Most physicians were included  in both sets of analyses. The researchers  found no association of risk attitude and  uncertainty stress with computer skills nor  with familiarity and use of specific  information resources (Internet, MEDLINE,  PIER, Clinical Evidence, and UpToDate). No  differences were found for the following  outcomes: time spent searching, answers  correct before searching, answers correct  after searching, and certainty of answer if  answer is right, certainty of answer if  answer is wrong. There was a statistically  significant association  of participants’  indicating certainty for answers that were  correct versus those that were not correct  (p<0.03). Across all groups, the percentage  of correct answers after searching was low,  with the uncertainty‐stressed group  achieving the highest at 55.5%. There were  differences observed in search process,  including a trend toward a statistically  significant difference in the number and  proportion of search methods used across  groups between the risk‐seeking versus the  risk‐avoiding groups. Risk‐seekers and  those not stressed by uncertainty used more  search heuristics (rules of thumb or guides  that work in most circumstances) than their  counterparts when searching.  Those  stressed by uncertainty tended to use  MEDLINE less than those not stressed by  uncertainty.     Conclusion – Based on a small sample, it  appears that primary care physicians who  are risk‐seeking and/or less stressed by  uncertainty have the same (poor) search  results as their more risk‐averse and  stressed‐by‐uncertainty colleagues although  their search processes may differ.     Commentary     McKibbon, Fridsma, and Crowley present a  thoughtfully designed study based on  previous research identifying risk profile  characteristics of physicians. They employ  validated scales to categorize risk‐ seeking/risk‐avoiding and uncertainty‐ stressed/uncertainty‐unstressed physicians,  and select only those who fall into the  extremes to include in the study.  Appendices in print and online provide  additional information about the study and  its tools. It is interesting that their work  reinforces previous findings, cited by the  authors, that processes but not outcomes  may differ between those who can be  categorized as risk‐averse and those who are  risk‐seeking. The authors identify the  study’s limitations including small sample  size, its lack of statistical power to detect a  difference, and the use of volunteers. This  reviewer would add concerns about the lack  of blinding – was the observer aware of the  categorization of the physician whose office  she visited and whom she observed  searching?  Also, it would have  strengthened the study to use an  independent observer, rather than someone  who was probably known to many of the  subjects. In two places, the text indicates  that risk avoiders tended toward less use of  systems that provided answers and  summaries of evidence, but the data indicate  otherwise (Table 4, 143).     On the one hand, this research prompts  questions for further investigation into the  relationship between risk profile (or other  personality traits, like patience or self‐ Evidence Based Library and Information Practice 2007, 2:4  63 confidence) and information retrieval to  inform systems design and training. On the  other hand, one wonders about the  applicability of this research for those of us  who are not in a position to assess the risk  profiles of those we teach and who would  predictably be faced with a heterogeneous  audience in any case. The most troubling  result of this study is the overall lack of  success – even by physicians involved in  rating evidence and assumed to be more  information savvy – in finding correct  answers to clinical questions, independent  of risk profile. This failure to easily and  correctly answer clinical questions from the  literature has been a recurrent finding, and a  reason why evidence summary tools were  developed in the first place. It is reassuring  that those systems are being used, though  distressing that their use doesn’t guarantee  correct answers to clinical questions.  McKibbon and her colleagues are on to  something: we need to build better systems  for retrieval as well as train physicians to be  more effective searchers for clinical  information, although the strategy for doing  this may need to be less refined than  identifying individuals’ risk profiles.