Microsoft Word - ES_Brown.doc Evidence Based Library and Information Practice 2007, 2:1  144 Evidence Based Library and Information Practice       Evidence Summary    Interactive, Web‐based Information Skills Tutorial Well Received by Graduate  Students in Health and Social Care Research      A review of:  Grant, Maria J., and Alison J. Brettle. “Developing and Evaluating an Interactive Information  Skills Tutorial.” Health Information and Libraries Journal 23.2 (June 2006): 79‐86.    Reviewed by:   Marcy L. Brown  Clinical Medical Librarian  The Western Pennsylvania Hospital, Forbes Regional Campus  Monroeville, Pennsylvania, United States of America  E‐mail: wordsmith@alltel.net      Received: 28 November 2006  Accepted: 23 January 2007      © 2007 Brown. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To determine whether a newly  developed interactive, Web‐based tutorial  on OVID MEDLINE was acceptable to  students, and to identify whether the  tutorial improved students’ information  skills.    Design – Objective and subjective  assessment within a small cohort study.    Setting – An evidence based practice  module within a Masterʹs in Research (MRes)  program at the University of Salford, UK.    Subjects – A total of 13 usable evaluations  were received from graduate students who  took an evidence based practice module as  part of their MRes coursework.  Methods – Information skills (IS) were  taught in weeks two and three of a 12‐week  module on evidence based practice. Each of  the two IS sessions lasted approximately  three hours. At the beginning of the first  session, baseline skills were assessed by  asking the students to perform a literature  search on either the effectiveness of nursing  interventions for smoking cessation, or the  effectiveness of rehabilitation after stroke.  The OVID MEDLINE tutorial was  introduced at the first session, and guided  hands‐on practice was offered. Homework  was given, and between‐session use of the  tutorial was encouraged. At the end of the  second session, students were asked to  complete another search in order to assess  short‐term impact of the tutorial. Both sets  of search results were scored using a  checklist rubric that looked for Boolean  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:1  145 operators, use of MeSH terms, use of limits,  number and relevance of references, and  other assessment criteria. The rubric was a  modified version of a tool published by  Rosenberg et al.     The tutorial remained available throughout  the 12‐week module, at which time a  systematic literature review was assigned in  order to measure longer‐term impact. As an  additional subjective measurement, a  questionnaire regarding the information  skills sessions and tutorial was given at the  end of the second IS session (week 3).      Main Results – Thirteen objective  assessments (literature search results) were  returned and usable. According to the  scored pre‐training search, two students  could use multiple search techniques  correctly and in a systematic manner. The  post‐training search results indicated that  six students could systematically search,  which is triple the original number. At the  end of the 12‐week EBP module, that  number had increased to seven students.  This demonstrated a significant difference  between pre‐training and post‐training  scores (P = 0.040), as well as a significant  difference between post‐training and post‐ module scores (P = 0.008).     Eight of the subjective questionnaires, which  measured perceptions on a five‐point scale,  were returned. All responses indicated that  “the sessions were useful, well structured  and interesting” (83). Seven of the eight  were entirely positive, either agreeing or  strongly agreeing with each of the eleven  questions about things such as search skill  improvement, information skills knowledge,  and confidence in searching. The small  sample size made it difficult to generalise  these results. Ad hoc comments varied and  sometimes contradicted each other, such as  one request for simpler tutorial instructions  in contrast with the comment that the  “tutorial ‘couldn’t be simpler’” (84).   Conclusions – Students rated the IS sessions  positively, including the Web‐based  MEDLINE tutorial. Search skills improved,  as was demonstrated by comparing pre‐ training search results with post‐training  and end‐of‐module searches. Continuing  feedback indicates that the tutorial is used  within other departments and programs as a  standalone tutorial.    Commentary    This study was evaluated using The  University of Glasgow critical appraisal  checklist for educational intervention  studies. The study authors provided two  focused questions they intended to answer.  They also did a good job of describing the  learning need for an intervention:  “Information skills (IS) are essential for  healthcare students if they are to…become  qualified evidence based practitioners” (79).  The intervention and assessment measures  were explained in sufficient detail.     The biggest problem with the study is that  the research questions were specific to the  interactive Web‐based tutorial, but it was  not possible to separate the effects of the  tutorial from the effects of the face‐to‐face  instructional sessions offered in conjunction  with the tutorial. Even the subjective  questionnaire, a copy of which was offered  as an appendix to the published study,  asked most of its questions about the IS  training in general rather than about the  Web tutorial.     This shows that the single cohort study was  not the best study design to measure the  effects of the tutorial. Comparing an  experimental group – one offered the IS  sessions with the tutorial – with a control  group taking the IS sessions without the  tutorial would have been a more effective  way to measure chosen outcomes. The  authors acknowledged the following  limitations: the limited ability to generalise  Evidence Based Library and Information Practice 2007, 2:1  146 results due to the small number of students;  the lack of a control group; and the need to  test the tutorial with a larger group to see if  facilitator‐to‐student ratio affects results.    The authors stated, “Findings indicate that  the use of this tutorial to complement taught  sessions … in conjunction with the  availability of guided feedback have a  greater impact on [information skills]  development” (85). It is unclear what  intervention has the lesser impact if this one  has the greater. Unfortunately, without a  comparison intervention this statement  lacks credibility.    There is a preponderance of existing  literature documenting the “no significant  difference” phenomenon. A 2001 book by  Thomas Russell, and its ongoing companion  Web site, provide an evidence based look at  outcomes of face‐to‐face versus distance  instruction and find no significant difference  in learner outcomes. This is not to say that  there are no studies which document a  difference in outcomes, but that factors  beyond the delivery medium usually  influence whether or not face‐to‐face or  distance delivery is more effective.     Instructional librarians and developers of  information literacy tutorials need future  research identifying those characteristics  that make Web‐based information literacy  instruction more or less effective. Do  student characteristics come into play?  Should researchers examine educational  background, gender or age in relation to  outcomes in Web‐based instruction? Do the  multimedia elements affect outcomes? How  should information literacy instruction be  “chunked” for maximum learning  effectiveness? Stronger randomised  controlled trials, rather than single case  studies, are needed to fully explore these  and other related research questions.    Works Cited    Department of General Practice. Critical  Appraisal Checklist for an Article on  an Educational Intervention.”  University of Glasgow, Scotland. 8 Feb.  2007  .    Rosenberg, William M., Jon Deeks, Anne  Lusher, Robin Snowball, Gordon  Dooley, and David Sackett.  “Improving Searching Skills and  Evidence Retrieval.” Journal of the  Royal College of Physicians of London  32.6 (Nov. 1998): 557‐63.    Russell, Thomas. The No Significant  Difference Phenomenon: A  Comparative Research Annotated  Bibliography on Technology for  Distance Education. 5th ed.  Montgomery, AL: IDECC, 2001.     http://www.gla.ac.uk/departments/ge