Microsoft Word - ES_Lewis.doc Evidence Based Library and Information Practice 2007, 2:3  111 Evidence Based Library and Information Practice       Evidence Summary    Questions Remain about Whether EBM Competencies Learned in Medical School are  Retained in Residency      A review of:  Dorsch, Josephine L., Meenakshy K. Aiyer, Krishna Gumidyala and Lynne E. Myer. “Retention of  EBM Competencies.” Medical Reference Services Quarterly 25.3 (Fall 2006): 45‐57.      Reviewed by:   Suzanne Lewis  Library Manager, Central Coast Sector, Northern Sydney Central Coast Health  Gosford, New South Wales, Australia  E‐mail: slewis@nsccahs.health.nsw.gov.au        Received: 29 May 2007    Accepted: 12 July 2007      © 2007 Lewis. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To assess medical graduates’  use of evidence based medicine (EBM) in  residency, self‐perception of EBM skills,  attitudes toward EBM, and the impact of a  formal EBM curriculum in their third  undergraduate year.    Design – A longitudinal follow‐up study by  self‐administered questionnaire.    Setting – Internal medicine residency  programs in US hospitals.    Subjects – A convenience sample of 2001  and 2002 graduates of the University of  Illinois College of Medicine at Peoria  (UICOM‐P) (n=78), and their respective  residency program directors (n=72).    Methods – A student graduate  questionnaire (SGQ) was sent to all  members of UICOM‐P’s 2001 and 2002  graduating classes who had completed the  EBM course during their M‐3 Internal  Medicine clerkship. A program director  questionnaire (PDQ), similar to the SGQ,  was sent to the graduates’ residency  program directors. The research instrument  was tested with a pilot group prior to use,  but not validated. The questionnaires  consisted of 4 main sections. The first  section examined formal and informal EBM  programs in the graduates’ residency  curriculum. The second section consisted of  a self‐assessment of EBM skills by the  mailto:slewis@nsccahs.health.nsw.gov.au http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:3  112 residents and an assessment of those skills  by their program directors. The third section  asked graduates to compare their EBM skills  to those of their fellow residents who had  not been students at UICOM‐P. Similarly, in  the third section of the PDQ, program  directors were asked to compare the EBM  skills of UICOM‐P graduates and non‐ UICOM‐P graduates participating in the  residency program. The last section  concerned professional and demographic  characteristics. Copies of the surveys were  mailed out to non‐responders after 6 weeks.  Results were collated but statistical analysis  was not applied.    Main results – The response rate was 32%  for residents and 35% for program directors.  The number of incomplete surveys was not  reported. Forty‐four percent of all  respondents reported having a formal EBM  curriculum for residents, and 76% reported  an informal curriculum. For both formal and  informal programs, the most common  teaching formats were journal clubs,  followed by lectures, teaching rounds,  morning reports, bedside consultations,  ambulatory clinics and seminars. In section  two of the questionnaires, both residents  and program directors rated the residents’  EBM skills similarly. However, the residents  rated their skills in searching the literature  and application of findings to clinical  practice higher than the program directors.  Program directors also rated the residents’  skills in understanding statistics and tests  higher than the residents themselves.  Twenty‐four percent of both residents and  program directors rated the UICOM‐P  graduates as “very competent” or  “extremely competent” in EBM skills (50).  Only 35% of program directors and 27% of  residents rated the UICOM‐P graduates’  EBM skills as “usually better” or “always  better” than their peers who were not  UICOM‐P graduates (50).      Conclusion ‐ The authors of this study   conclude that, for UICOM‐P graduates, “it   might be implied from these results that the  EBM skills gained during medical school  were retained through their medical school  graduation and into their residency  training” (51). However, this study has  methodological weaknesses which make it  difficult to draw any definite conclusions  from the results.    Commentary    The authors themselves identify 3 serious   limitations of the study. The first limitation  is that, due to ethical considerations, the  anonymity of the respondents had to be  preserved. Returned surveys could not be  matched to the individual students who had  undertaken the EBM course in their M‐3  Internal Medicine clerkship. As a result, a  direct relationship between student  performance in the undergraduate EBM  course and retaining EBM competencies in  postgraduate years could not be established.  Therefore the authors were unable to  answer the central question of their study:  “whether the incorporation of a formal EBM  curriculum in a third‐year IM clerkship has  a long‐term impact on evidence‐based  practice in residency” (46). In effect, all they  were measuring was the residents’  perceptions of their current EBM  competencies.     The second limitation of the study is that the  method used to measure EBM competency  was a subjective questionnaire eliciting the  subjects’ perceptions of their skills, rather  than an objective measure such as a test  administered by a third party. The authors  identify a third limitation of the study ‐ that  it did not determine whether the non‐ UICOM‐P graduates had had any formal  EBM instruction in their undergraduate  medical program. This makes it difficult to  draw any meaningful conclusions from  section three of the questionnaire, which  Evidence Based Library and Information Practice 2007, 2:3  113 attempted to identify differences between  the EBM skills of UICOM‐P graduates and  graduates of other medical schools.    A limitation of the study that the authors do  not address is that the source of the  residents’ EBM skills is not identified. Did  they learn these skills in their M‐3 Internal  Medicine clerkship, in their formal or  informal residency programs, or from some  other source? The low response rate to the  surveys compounds the methodological  flaws discussed above. One reason for the  low response rate may have been the messy  layout of sections II and III of the  questionnaire.     Finally, the reporting of this study could  have been improved. More contextual detail,  particularly regarding the US medical  education and residency system, would  have been helpful for an international  audience. In addition, only the Student  Graduate Questionnaire was supplied in the  appendix. The Program Director  Questionnaire should have also been  included.    If the Institutional Review Board had  allowed it, the study would have been  strengthened by being reframed as a cohort  study tracking a group of medical students  who received EBM training in their third  undergraduate year at UICOM‐P, with EBM  skills objectively measured immediately  before and after the undergraduate training  and then in their residency. A control group  of medical students who did not receive  EBM training as part of their undergraduate  curriculum, but underwent identical testing  of EBM competency, would have further  increased the validity of the study. However,  in practice it would be extremely difficult to  identify such a control group. It would be  unethical to exclude half of the  undergraduate students at UICOM‐P from  the EBM training, and obtaining details of a  control group of matched students from  another medical school that did not include  EBM skills in its curriculum would be  difficult.    The authors are correct in stating that  “Methods for follow‐up studies that can  draw a more direct cause and effect  relationship between the undergraduate  EBM curriculum and later practice are  needed” (52). Their literature review  highlights the lack of methodologically  sound studies in this area. A Cochrane  systematic review attempted to assess the  effects of teaching critical appraisal skills to  health professionals on the process of care,  patient outcomes and knowledge of health  professionals, and concluded that “the  evidence supporting all outcomes is  weakened by the generally poorly designed,  executed and reported studies that we  found” (Parkes 1).    This study is of particular interest to health  librarians involved in teaching evidence  based medicine skills, and of more general  interest to all librarians who have ever been  involved in information skills training and  wondered if the material they teach is  retained over time. However, there are  significant flaws in the design of this study  which limit its usefulness.      Work Cited    Parkes, J. C. Hyde, J. Deeks, and R. Milne.  “Teaching Critical Appraisal Skills in  Health Care Settings.” Cochrane  Database of Systematic Reviews 3  (2001). 29 May 2007.  .  http://www.mrw.interscience.wiley.com/cochrane/clsysrev/articles/CD001270/frame.html http://www.mrw.interscience.wiley.com/cochrane/clsysrev/articles/CD001270/frame.html http://www.mrw.interscience.wiley.com/cochrane/clsysrev/articles/CD001270/frame.html