Microsoft Word - ART_Pearce.doc Evidence Based Library and Information Practice 2006, 1:3  44 Evidence Based Library and Information Practice     Article    A  Randomised  Controlled  Trial  Comparing  the  Effect  of  E‐learning,  with  a  Taught  Workshop, on the Knowledge and Search Skills of Health Professionals       Nicola Pearce‐Smith  Department of Knowledge and Information Science  Badenoch Building  Old Road Campus  Headington  Oxford   E‐mail: nicola.pearce‐smith@dphpc.ox.ac.uk      Received: 10 May 2006    Accepted: 15 August 2006      © 2006 Pearce‐Smith. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.    Abstract    Objective ‐ The aim of the trial was to establish whether there is a significant difference in  terms of knowledge and skills, between self‐directed learning using a web‐based resource,  compared with a classroom based interactive workshop, for teaching health professionals  how to search. The outcomes measured were knowledge of databases and study designs,  and search skills.    Methods ‐ The study design was a randomised controlled trial (RCT). 17 health  professionals were randomised into one of two groups –  one group (EG) received access to  a search‐skills web resource, and the other group received a search workshop (WG) taught  by a librarian. Participants completed pre‐ and post‐intervention tests involving multiple  choice questions and practical searching using clinical scenarios.    Results ‐ 9 WG and 6 EG participants completed both pre‐and post‐intervention tests. The  test results were blindly marked using a score chart developed with two other librarians.  For question formulation and devising a search strategy, all participants obtained a score  that was the same or better after receiving the intervention (both WG and EG), but statistical  analysis showed that the only significant outcomes were for the WG devising a search  strategy (p=0.01) and preferring to search using MeSH after receiving the taught workshop  (p=0.02). The Mann‐Whitney test showed there were no significant differences in any of the  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:3  45 outcomes (p>0.05), between the WG and the EG. The statistical analyses must be viewed  with caution due to the small sample size.    Conclusion ‐ There were no significant differences in knowledge of databases and study  design, or search skills, when the WG and the EG were compared. Although many  participants obtained a score that was higher post‐intervention, only devising a search  strategy and preferring to search using MeSH were statistically significant for the WG. The  question of whether a taught workshop and an e‐learning module are of equal effectiveness  in teaching search skills, is an important one for health librarians involved in user education,  and was a justifiable topic to propose and conduct research. The fact that the results are  mainly inconclusive due to the small sample size is disappointing, but does not diminish  the importance of conducting the study.     Background    Searching for evidence is an essential skill  for any health professional wishing to apply  evidence to practice. Training health  professionals to search databases is thought  to improve their skills and knowledge, but  evidence of this in the literature is not  extensive. A systematic review in early 2003  found that there is some evidence of a  positive impact of search skills training for  health professionals (Garg and Turtle 33‐41);  however, the studies included were small or  methodologically poor.     A randomised trial published after this  review found that a 3 hour educational  workshop was more effective than no  training in improving question formulation  and use of databases by doctors (Cheng 22‐ 33). More recently, a study measuring the  effect of an evidence‐based practice  workshop on the knowledge, skills,  behaviour and attitudes of occupational  therapists (published in Dec 2005 after  completion of this trial), also found  improvements in knowledge of, attitudes to,  and confidence with searching and  appraisal (McCluskey and Lovarini).   Health librarians regularly teach directional  search workshops, but do not know whether  these social cognitive learning methods are  more effective than other educational  methods. Self‐directed online, or e‐learning,  is becoming more widespread, but there is  little evidence to show whether this is an  effective training method. Indeed, very few  studies were found examining the use of e‐ learning as a method of teaching health  professionals in any subject areas. A review  of e‐learning in continuing medical  education found that 6 out of 16 studies  involving internet‐based education of health  professionals showed a positive change in  participant knowledge when compared with  traditional teaching formats; the remaining  studies showed no difference in levels of  knowledge(Wutoh, Boren, and Balas 20‐30).  In 2005, a qualitative study looking at a  randomised trial comparing directed  learning and self‐directed learning, found  no statistically significant differences  between the two groups in terms of  evidence‐based knowledge, skills, and  attitudes of medical students (Bradley et al.  149‐77).    As the literature on this subject is not  extensive, the author designed and  conducted a research study between Sept  2004 and Sept 2005. A research proposal was  developed and a grant received from the  HeLicon Research in the Workplace Award  2003/04  (http://www.ifmh.org.uk/RIWA2003‐ 4.html). This paper presents the methods  and results of a RCT comparing two  different educational interventions for  http://www.ifmh.org.uk/RIWA2003%E2%80%90 Evidence Based Library and Information Practice 2006, 1:3  46 teaching search skills to health  professionals.    Objectives    The aim of the trial was to establish whether  there is a significant difference in terms of  knowledge and skills, between self‐directed  learning using a web‐based resource  directed by participants, compared with a  classroom based interactive workshop  directed by a librarian, for teaching health  professionals how to search.     A common method of proceeding is to test a  hypothesis, often called the null hypothesis.  The null hypothesis is that there is no  difference between the two interventions  being compared (i below). It was also  relevant to have a second null hypothesis –  that there would be no difference before and  after either educational intervention (ii  below)    i) there will be no difference between those health  professionals receiving an online learning  intervention using a web‐based resource, and  those receiving a classroom based workshop  intervention, in terms of knowledge of databases  and study designs, and the skills of formulating  a question, designing a search strategy and  selecting appropriate citations    ii) there will be no difference in terms of a health  professionals’ knowledge of databases and study  designs, and the skills of formulating a question,  designing a search strategy and selecting  appropriate citations, before and after an  educational intervention    Testing these hypotheses involves a  comparison of the effectiveness of two  different interventions, so a RCT was chosen  as the most appropriate study design. The  outcomes measured were knowledge of  databases and study designs, and search  skills. Ethical approval was obtained from  the relevant research ethics committee.  Methods    The study population was a convenience  sample – health professionals working for  the Oxfordshire Radcliffe Hospitals NHS  Trust (ORHT). Recruitment was by  invitation letter, sent by post to departments  and/or by email. Contact details were  obtained from the Trust intranet and the  email lists provided by Trust librarians.  Posters and leaflets about the trial were  displayed in the hospital.     Recruitment was self‐selecting – participants  registered for the trial after responding to an  email, letter or poster. These participants  may have had more interest in the topic of  search skills than your average health  professional – this could be because they  have no searching skills and wish to learn,  or because they have attended similar  sessions before and are more experienced  searchers.     Inclusion criteria were very broad –  participants must work within the ORHT,  and have access to the Internet either at  work or home.     The trial    On arrival all participants completed a  “search exercise” using a computer. The  search exercise had two sections – the first  contained multiple choice questions (MCQs)  and was designed to test knowledge about  databases and study designs. The second  section involved a practical search using  PubMed (www.pubmed.gov) to test  participants’ skills at structuring a search on  a given scenario (see Appendix 1).  Participants were randomly assigned to one  of two groups, using computer generated  random numbers.   Evidence Based Library and Information Practice 2006, 1:3  47     Figure 1: Flow Chart Showing Trial Stages and Numbers of Participants      Those participants allocated to the  workshop group (WG) then attended a 2  hour search skills workshop taught by a  librarian (the author did not teach the  workshop session in order to prevent any  possible bias). Those participants allocated  to the e‐learning group (EG) were shown  how to access the online learning module by  the author, and asked to complete as much  of the module as they could, in one week.  One week later, participants were sent (via  post and/or email) the second “search  exercise” containing a different scenario,  and asked to complete and return.     In order to minimise the possibility that one  scenario was easier to search for than the  other, the order in which participants  completed the search exercises was assigned       randomly, again by computer generated  random numbers.    Interventions in more detail    The online learning resource was designed  by the author. It was made available on the  web, but was password protected so that  only EG participants could access it. The  content included question formulation,  study design, free text, thesaurus and  Boolean searching, and examples of  searching PubMed and the Cochrane  Library.    Before the trial, the online learning module  was piloted on a general practitioner and a  nurse. They were asked to comment on the  usability, the time taken to complete the Eligible  participants (17)  Randomised into two groups  ‐ randomisation done before attendance  Search skills group workshop  taught by a librarian (9)  Search skills electronic‐learning  module accessed via the internet (7)  Completed second  search exercise (9)  Completed second  search exercise (6)  Complete participant characteristics form  Complete search exercise 1 (randomised to  e‐group) did not  attend    Module completed  individually at home or  work (about 1 hour over  one week)  1 loss to  follow‐up  Group  workshop  lasts 2 hours  Evidence Based Library and Information Practice 2006, 1:3  48                                       Figure 2: Screen Picture Showing the Online Learning Module      module, and the content covered. These  suggestions were then incorporated into the  module ready for use in the trial.     The WG was taught by an experienced  librarian, who used methods such as  presentations, live internet demonstrations  and interactive group work. The workshop  was carefully planned by the librarian and  author to deliver content on exactly the  same topics covered by the online learning  resource. Teaching examples were also the  same as those contained in the online  learning module. Participants were able to  practice their own searches during the  session, with help and advice from the  librarian.        Table 1: Baseline Participant Characteristics        WG (n=9)  EG (n=6)  Gender:          Female        Male  6  3  4  2  Age (years):         21 ‐ 30       31 – 40       41 ‐ 50       51 ‐ 60  0  1  6  2  4  2  0  0  Job:         Doctor       Nurse       Allied Health       Manager  3  4  0  2  3  2  1  0  Attended previous  search session?       Yes in last 3 months     Yes > 1 year ago      No  1  2  6  1  1  4  Evidence Based Library and Information Practice 2006, 1:3  49 Results    Despite the randomisation procedure, the  ages of participants in the two groups  differed – those in the online learning group  were a lot younger than those in the  workshop group. Stratified randomisation  could have been used to help keep the  characteristics of participants (e.g. age) the  same acrosss both groups, but this was not  undertaken – stratified randomisation is  quite complicated and requires certainty  about which participant characteristics  might influence the intervention outcome  (Roberts and Torgerson 1301).    Marking of the search exercises    The author was ‘blind’ as to which search  exercises had been completed by a  particular person or to which group they  had been allocated. There was no indication  on the search exercises as to which had been  completed before or after the interventions,  to reduce any inadvertent bias. Existing  scenarios/score charts for testing search  skills were available, but at the time of  planning, no one tool appeared to fit the  study requirements exactly (Vogel, Block,  and Wallingford 327‐30;Rosenberg et al. 557‐ 63;Burrows and Tylman 471‐76;Bradley et al.  194‐201;Dorsch, Aiyer, and Meyer 397‐406).    The author collaborated with two other  librarians to develop a ‘gold standard’ for  formulating a question from a scenario,  developing a search strategy and selecting  appropriate citations. This information was  used in conjunction with the tools in the  literature to develop a score chart (see  Appendix 2); the exercises were graded in  each of the categories above according to a  scale Excellent, Good, Fair, Poor. Each  exercise received a grading for question  formulation, search strategy and citation  selection, plus a mark for the number of  correct Multiple Choice Questions (see Tables  2‐7). A random selection of the search  exercises were marked by another librarian  in order to validate the marking; no  differences in scores were observed.    Summary of scores    Question formulation  • All participants received a score that  was the same or better after  receiving the intervention (both WG  and EG)    Search strategy  • All participants received a score that  was the same or better after  receiving the interventions (both  WG and EG)  • The majority of WG increased their  score by at least 1 after receiving the  intervention    • Most of the EG scores were the  same before and after receiving the  intervention    Citation selection  • The majority of participants  received a score that was the same  or better after receiving the  intervention (both WG and EG)  • 1 participant in each group received  a worse score after receiving the  intervention    Statistical analysis    Analysis was carried out using a statistical  software package. The Mann‐Whitney test (a  nonparametric method testing the  significance of the difference between the  distributions of two independent samples)  showed there were no significant differences  in any of the outcomes (p>0.05), between the  WG and the EG. Thus, the null hypothesis ii)  is accepted, although due to the small  numbers of participants in this trial, the  statistical analyses have limited value.   Evidence Based Library and Information Practice 2006, 1:3  50               Workshop  Wilcoxon test ns/r <5          E‐group    Wilcoxon test ns/r <5                Participant No.  Before  After  Difference  Participant No.  Before  After  Difference  001  3  3  0  003  4  4  0  002  3  3  0  004  3  4  1  005  4  4  0  006  3  4  1  007  3  4  1  010  4  4  0  008  2  3  1  014  3  4  1  009  4  4  0  015  3  4  1  011  3  4  1          012  4  4  0          013  4  4  0  Mann‐Whitney test z = ‐1, p = 0.32    Table 2: Question Formulation  (Excellent = 4   Good = 3    Fair = 2    Poor = 1)          Workshop  Wilcoxon test W= ‐36, ns/r = 8, p=0.01        E‐group    Wilcoxon test ns/r <5          Participant No.  Before  After  Difference  Participant No.  Before  After  Difference  001  2  3  1  003  2  3  1  002  1  3  2  004  2  4  2  005  2  2  0  006  2  2  0  007  1  3  2  010  2  2  0  008  2  3  1  014  2  2  0  009  1  2  1  015  2  2  0  011  1  3  2          012  1  2  1          013  2  4  2  Mann‐Whitney test z = 1.71, p = 0.09    Table 3: Search Strategy    (Excellent = 4   Good = 3    Fair = 2    Poor = 1)      Evidence Based Library and Information Practice 2006, 1:3  51       Workshop  Wilcoxon test W= ‐11, ns/r = 5, p>0.05        E‐group Wilcoxon test  W= ‐8, ns/r = 5, p>0.05    Participant No.  Before  After  Difference  Participant No.  Before  After  Difference  001  3  4  1  003  3  4  1  002  2  2  0  004  1  3  2  005  3  3  0  006  4  4  0  007  3  4  1  010  4  2  ‐2  008  3  3  0  014  1  4  3  009  3  3  0  015  1  2  1  011  1  4  3          012  1  4  3          013  4  3  ‐1  Mann‐Whitney test z = ‐0.29, p = 0.77    Table 4: Citation Selection    (Excellent = 4   Good = 3    Fair = 2    Poor = 1)        Workshop  Paired t‐test  t= =2.29, df= 8, p=0.05          E‐group Paired t‐test  t= ‐2.08, df=5, p=0.09    Participant  No.  Mark Before   Mark After   Difference  Participant No.  Mark Before   Mark After   Difference  001  2  2  0  003  1  4  3  002  3  1  ‐2  004  3  3  0  005  2  3  1  006  1  2  1  007  2  3  1  010  1  5  4  008  1  3  2  014  0  3  3  009  2  4  2  015  2  1  ‐1  011  0  3  3          012  0  2  2          013  4  5  1  T‐test for independent samples t  = ‐0.06, df = 13, p = 0.95    Table 5: Multiple Choice Correct Answers (maximum 6)    Evidence Based Library and Information Practice 2006, 1:3  52     Workshop                  E‐group    Participant No.  Study limits  before?  Study limits after?    Participant No.  Study limits before?  Study limits after?  001  No  No    003  No  No  002  No  No    004  Yes  Yes  005  No  No    006  No  Yes  007  No  Yes    010  No  No  008  Yes  Yes    014  No  No  009  No  No    015  No  Yes  011  No  Yes          012  No  Yes          013  Yes  Yes            Table 6: Did the Participant use Appropriate Study Design Limits? (Yes or No)        Workshop  Wilcoxon test W= ‐28, ns/r = 7, p = 0.02          E‐group Wilcoxon test ns/r <5    Participant  No  prefer MeSH  (before)  prefer MeSH  (after)  Difference  Participant No  prefer MeSH  (before)  prefer MeSH  (after)  Difference  001  2  3  1  003  2  1  ‐1  002  1  3  2  004  2  3  1  005  1  3  2  006  3  3  0  007  1  3  2  010  1  3  2  008  1  3  2  014  1  3  2  009  1  2  1  015  1  1  0  011  2  2  0          012  2  3  1          013  3  3  0  Mann‐Whitney test z = 0.82, p = 0.41    Table 7: Searching Preference ‐ when I search Medline, I prefer to use MeSH (thesaurus) rather than keywords (Yes = 3     Neutral = 2     No = 1 )    Evidence Based Library and Information Practice 2006, 1:3  53 This shows that the WG and the EG performed  equally as well for all outcomes in question.  However, were these interventions effective, or  were the groups performing equally as badly as  each other? To test if either of these educational  interventions were actually effective in teaching  health professionals to search, the before/after  results were analysed using the Wilcoxon Signed‐ Ranks test (a nonparametric test for the  significance of the difference between the  distributions of two non‐independent samples  involving matched pairs).    For devising a search strategy, the WG performed  significantly better (p=0.01) after receiving the  librarian‐taught workshop. This group also  preferred to search using MeSH after receiving the  workshop (p=0.02). There was no significant  difference in citation selection or knowledge of  databases and study designs before and after  receiving either intervention. The null hypothesis i)  is therefore accepted, except for the outcome of  devising a search strategy, where the WG  performed significantly better after the  intervention. Again, these statistical analyses only  have limited value owing to the small sample size.    Discussion    The results show that knowledge and skills were  increased in most outcomes, but not significantly.  Perhaps a single workshop or a brief e‐learning  module is not long enough to learn how to search  effectively; learning search skills may take time to  sink in, and should be practiced regularly to have  an effect – the follow up time of a week may have  been too short for participants to have digested and  used their knowledge and skills effectively.  Evidence‐based skills have been shown to improve  and to be retained in a clinically integrated  situation (Bradley et al. 194‐201;Coomarasamy and  Khan 1017), so setting the study in an  academic/learning situation may lead to less  knowledge and skill retention.    This study had some limitations. Recruitment was  by self‐selection, but participants were being  measured against their own baseline skill level  (however good or poor that was) in a before/after  study, so this should not have influenced the  results unduly. Two participants dropped out of  the online learning group – the first did not turn up  and later phoned to say they had a clinical  emergency (randomisation was done before the  participants arrived, so they did not know they had  been allocated to the elearning group). The second  drop‐out did not complete the second search  exercise, even after repeated contacting, citing that  they were too busy (it was not clear if they were  too busy to use the online learning module at all, or  just too busy to complete the exercise afterwards).     Clinical staff proved difficult to recruit to the  research study resulting in a small sample size  which limits the results.  Health professionals may  have been encouraged to participate by offering  incentives such as prizes (book tokens, wine etc),  but funding for this in a small study is problematic.   Recruitment difficulties may be one reason why a  large number of studies comparing the  effectiveness of search skills interventions for  healthcare professionals are not available.  Using  medical students is much easier and large  established groups are available for use in research  studies. However the information needs, skills and  knowledge of medical students and health  professionals are different, and must be examined  separately.  Issues such as the difficulty of obtaining up‐to‐date  contact lists for staff (various staff lists were  considerably out of date), plus the perceived  importance of the outcomes by the health  professional can affect the recruitment (Rahman et  al. 38‐40;Traynor et al. 790‐95;Veitch et al. 399‐406).  Consequently, the group of people of particular  interest to health librarians is actually one of the  most difficult to study.  Recruitment numbers for  this study were very low leading to frustration  when time has been spent developing the  methodology for a trial.  Only 17 participants  registered and were deemed eligible for inclusion.  The reasons for low recruitment in this trial were  specifically:  Evidence Based Library and Information Practice 2006, 1:3  54 • many staff names and contact details were  incorrect, out‐of‐date or unavailable  • email addresses of hospital staff were not  readily available   • clinical staff reported that they found it  difficult to obtain permission to attend  non‐mandatory training   • some staff did not have the time or interest  to participate in a trial  • the ethical approval process reduced time  available to recruit participants  • training rooms were not always available  on the hospital sites  It is significant that learning how to search and use  good quality health information, in order to assist  and improve patient care, is not considered  mandatory!  Published studies with small sample  sizes can be easily criticised due to their lack of  statistical power, but the reasons why recruitment  is so difficult became apparent during this trial.  As this was an educational trial recruiting only  health professionals, with no obvious risks  associated, ethical approval was expected to be  easy to obtain. However, due to recent changes in  the ethical application process in the UK, all health  related research requires the completion of a long  (68 page) form (http://www.corec.org.uk/), and the  provision of additional documentation including a  protocol and peer review of the proposal. To a  novice researcher some sections seemed irrelevant  or were difficult to complete as the form did not  differentiate between a multi‐million pound drug  trial involving patients and an international team  of investigators, and a local educational trial  involving health professionals.  Further  management approval (research governance) was  also required from the hospital where the research  took place, involving completion of additional  forms and letters. Obtaining ethical approval  therefore took almost 4 months and delayed  recruitment for the trial.     Articles published in the British Medical Journal  suggest this is not an isolated experience (Mayor  1258‐5f;Wald 282‐84;Jamrozik 286‐87;Bentley and  Enderby 361;Elwyn et al. 847); clinical researchers  have reported that the ethical committee  application procedure can impede, delay or distort  their research, or prevent them from starting  altogether. One editorial from a Director for Public  Health states:    “…bureaucratic barriers, such as the length  and complexity of the COREC forms and the  dual hoops of research ethics and governance,  are putting off those considering starting  smaller locally based studies.” (Bentley and  Enderby 361)    The research question and multiple outcomes may  have been a bit too ambitious for a small research  study, and concentrating solely on development of  a search strategy might have been easier. Future  research questions could be limited to the  effectiveness of interventions for search strategy  development.     To a novice researcher, and a practicing librarian, a  number of issues became apparent during the  course of the study.  This led to the development of  a list of tips (box 1) that researchers may want to  consider when planning a research study.    Conclusion    This paper has presented the methods and results  of a randomized trial seeking to compare two  interventions for teaching search skills to health  professionals. For question formulation and  devising a search strategy, all participants received  a score that was the same or better after receiving  the intervention (both WG and EG). However,  statistical analysis showed that the only significant  outcomes were for the WG devising a search  strategy and preferring to search using MeSH after  receiving the workshop intervention. There were  no significant differences in any of the outcomes  when the WG and the EG were compared.     The question of whether a taught workshop and an  e‐learning module are of equal effectiveness in  teaching search skills, is an important one for  health librarians involved in user education, and   http://www.corec.org.uk/ Evidence Based Library and Information Practice 2006, 1:3  55 • conduct a thorough literature search; your question may already have been answered  • read books on research methods to try and get an overview of the subject  • apply for ethical and management approval as soon as the study is initiated, and try to obtain help in  completing it; this will reduce delays in the process  • the population that practitioners’ would like to study are often the most difficult to engage or recruit;  this does not mean they should be ignored  • recruitment of staff, especially clinical staff, may be difficult, but start the recruitment process early,  use different contact methods and make the inclusion criteria as wide as possible  • collaborate with other librarians or researchers where possible; conducting a research study  individually while also maintaining a full‐time job is very time consuming  • don’t feel inadequate when things go wrong; often you have no control over them  • don’t give up; without research into the issues that matter, evidence‐based librarianship would not be  possible    Box 1: Tips for Planning Research      was a justifiable topic to propose and conduct  research. The fact that the results are mainly  inconclusive due to the small sample size is  disappointing, but does not diminish the  importance of conducting the study.    By discussing the main issues and problems  experienced during this study, it is hoped other  practitioners’ intending to undertake research will  have a clearer picture of the processes involved, be  able to learn from any mistakes made in this study,  and have a realistic idea of the problems that may  be encountered, some of which may be insoluble.  Additionally, it is hoped other researchers’ will  build on the methodology used in this study to  conduct further research into the effectiveness of  interventions for teaching search skills to health  professionals.       Works cited    Bentley, Chris and Pam Enderby. ʺAcademic  medicine: who is it for?: Applications to local  research ethics committees are down by  around 40%.ʺ British Medical Journal 330.7487  (2005): 361.    Bradley, D. R. et al. ʺReal‐time, evidence‐based  medicine instruction: a randomized  controlled trial in a neonatal intensive care  unit.ʺ Journal Medical Library Association  90.2 (2002): 194‐201.    Bradley, P. et al. ʺMedical studentsʹ and tutorsʹ  experiences of directed and self‐directed  learning programs in evidence‐based  medicine: a qualitative evaluation  accompanying a randomized controlled trial.ʺ  Evaluation Review 29.2 (2005): 149‐77.    Burrows, S. C. and V. Tylman. ʺEvaluating medical  student searches of MEDLINE for evidence‐ based information: process and application of  results.ʺ Bulletin Medical Library Association  87.4 (1999): 471‐76.    Cheng, G. Y. ʺEducational workshop improved  information‐seeking skills, knowledge,  attitudes and the search outcome of hospital  clinicians: a randomised controlled trial.ʺ  Health Information and Libraries Journal 20  Suppl 1 (2003): 22‐33.    Coomarasamy, A. and K. S. Khan. ʺWhat is the  evidence that postgraduate teaching in  evidence based medicine changes anything?  A systematic review.ʺ British Medical Journal  329.7473 (2004): 1017.    Dorsch, J. L., M. K. Aiyer, and L. E. Meyer. ʺImpact  of an evidence‐based medicine curriculum on  Evidence Based Library and Information Practice 2006, 1:3  56 medical studentsʹ attitudes and skills.ʺ J Med  Libr Assoc 92.4 (2004): 397‐406.    Elwyn, Glyn et al. ʺEthics and research governance  in a multicentre study: add 150 days to your  study protocol.ʺ British Medical Journal  330.7495 (2005): 847.    Garg, A. and K. M. Turtle. ʺEffectiveness of  training health professionals in literature  search skills using electronic health databases‐ ‐a critical appraisal.ʺ Health Information and  Libraries Journal 20.1 (2003): 33‐41.    Jamrozik, Konrad. ʺResearch ethics paperwork:  what is the plot we seem to have lost?ʺ British  Medical Journal 329.7460 (2004): 286‐87.    Mayor, Susan. ʺAdvisory group to review NHS  research ethics committees.ʺ British Medical  Journal 329.7477 (2004): 1258‐5f.    McCluskey, A and M Lovarini. ʺProviding  education on evidence‐based practice  improved knowledge but did not change  behaviour: a before and after study.ʺ BMC  Medical Education 5.40 (2005).    Rahman, M. et al. ʺPhysiciansʹ attitudes towards  and reasons for participation in the  Candesartan Antihypertensive Survival  Evaluation in Japan (CASE‐J) trial.ʺ Journal of  Epidemiology 15.2 (2005): 38‐40.  Roberts, C. and D. Torgerson. ʺRandomisation  methods in controlled trials.ʺ British Medical  Journal 317.7168 (1998): 1301.    Rosenberg, W. M. et al. ʺImproving searching skills  and evidence retrieval.ʺ Journal of the Royal  College of Physicians of London 32.6 (1998):  557‐63.    Traynor, V. et al. ʺRecruiting general practitioners  for survey research.ʺ Australian Family  Physician 22.5 (1993): 790‐95.    Veitch, C. et al. ʺGeneral practice research.  Problems and solutions in participant  recruitment and retention.ʺ Australian Family  Physician 30.4 (2001): 399‐406.    Vogel, E. W., K. R. Block, and K. T. Wallingford.  ʺFinding the evidence: teaching medical  residents to search MEDLINE.ʺ Journal  Medical Library Association 90.3 (2002): 327‐ 30.    Wald, David S. ʺBureaucracy of ethics  applications.ʺ British Medical Journal 329.7460  (2004): 282‐84.    Wutoh, R., S. A. Boren, and E. A. Balas. ʺeLearning:  a review of Internet‐based continuing medical  education.ʺ Journal of Continuing Education  in the Health Professions 24.1 (2004): 20‐30.