Microsoft Word - ES_Herron.doc Evidence Based Library and Information Practice 2006, 1:4      64 Evidence Based Library and Information Practice       Evidence Summary    Students and Graduates Learn Library Educational Content from Interactive  Multimedia Tutorials     A review of:  Markey, Karen, Annie Armstrong, Sandy De Groote, Michael Fosmire, Laura Fuderer, Kelly  Garrett, Helen Georgas, Linda Sharp, Cheri Smith, Michael Spaly, and JoniE. Warner.  “Testing the Effectiveness of Interactive Multimedia for Library‐User Education.” portal:  Libraries & the Academy 5.4 (Oct. 2005): 527‐54.      Reviewed by:  David Herron  Scholarly Developer, Karolinska Institutet, University Library  Stockholm, Sweden  E‐mail: david.herron@kib.ki.se    Lotta Haglund  Head of Information and Public Relations, Karolinska Institutet, University Library   Stockholm, Sweden  E‐mail: lotta.haglund@kib.ki.se      Received: 31 August 2006            Accepted: 11 October 2006      © 2006 Herron and Haglund. This is an Open Access article distributed under the terms of the Creative  Commons Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective –To demonstrate the effectiveness  of interactive multimedia tutorials in  delivering library educational content, and  to evaluate librarian experiences of  developing multimedia tutorials, both as  part of the LUMENS (Drabenstott) project.    Design – User study (questionnaire and  interviews) using pretest‐posttest design.  Setting – Four academic libraries in the  United States. One library dropped out  during the course of the project.    Subjects – Ninety university students from  the University of Illinois Chicago (UIC),  Purdue University, and the University of  Notre Dame participated in the main study  to evaluate three of the tutorials: “Doing  research an introduction to the concepts of  online searching,” “How to read a scientific  paper,” and  “Hungry for information?”  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:4      65 Another group of 15 subjects from UIC,  consisting of 10 graduate students, 2 faculty,  2 librarians, and one fellow, assessed a  fourth tutorial “Keeping current in your  field.”  Librarians were interviewed about  their experiences producing the interactive  multimedia tutorials.    Methods – The 90 students were given a  pretest containing questions about library  educational content and five demographic  questions. The students used the  multimedia tutorial for 15‐30 minutes and  immediately afterward were given a  posttest containing comparable questions to  the pretest in terms of content and difficulty.  The students were also asked to rate their  experiences of using the tutorials in various  ways on a scale from 0‐10. At UIC, the  experiences of the subjects using the  multimedia tutorial were assessed by  personal interviews. Librarians producing  the multimedia tutorials were asked about  their experiences of developing multimedia  tutorials through e‐mail, listserv discussion,  phone calls, and face‐to‐face personal and  group interviews.    Main results – All three libraries measured  a significant increase (using a one sample t‐ test, p<0.001) in marks when comparing the  pretest and posttest results. The changes in  mean marks were UIC, 7.1 to 9;  Purdue, 7.7  to 9.4; and Notre Dame, 6.2 to 9.   The results show that the majority (>75%) of  students were familiar with tutorial content  before start. Despite this, most of the  students found the tutorials useful and  enjoyable, and the majority were fairly likely  to recommend the tutorial to a friend.  Interviews with subjects at UIC revealed  similar experiences, except that the subjects  were less familiar with the tutorial content  at the beginning, and they were more likely  to return to the tutorial for a refresher. The  tutorial with the highest amount of  interactivity was the most popular. The  librarians found it difficult to find time to  learn Macromedia Flash and to work within  the LUMENS project generally. Eight out of  15 librarians remained with the project over  the entire period.     Conclusion – Students learned library  educational content by using multimedia  tutorials and seemed to enjoy the experience,  and educational librarians should lead  multi‐expert project teams in tutorial  production. Finally, the educational value of  multimedia tutorials must be offset from the  time and effort needed to produce them.     Commentary     The article presents some interesting  educational and managerial results which  should be of use to the library community.  Educationally, the article demonstrates that  both undergraduates and graduates found  the interactive multimedia tutorials useful  and that both groups could improve their  information literacy by using tutorials. In a  recent systematic review, Brettle showed  that the evidence base for the effectiveness  of library training is weak. This study  provides additional positive evidence that  training can be effective in the form of  interactive multimedia tutorials. From the  management point of view, the article  indicates that multi‐professional teams  would be more effective in tutorial  production.     The educational discussion is truncated by  the omission of the expected learning  outcomes for the tutorials and the library  content questions; these could have been  added in an addendum. This is not helped  by the virtual lack of references in the article  to other published studies. The high score  on the pretests also raises some doubt about  the intellectual challenge of the tutorials.     The total numbers of students at the  participating universities are not included  and therefore it is unclear how  Evidence Based Library and Information Practice 2006, 1:4      66 representative the samples of 30 subjects are.  Although the LUMENS project was carried  out between October 2001 and September  2003, it is unclear in this article exactly when  these studies were conducted.  The authors  use a one sample t‐test, which is a  parametric test assuming normality.  Whether or not the authors checked for  normality is unclear. Clarity would also be  improved if the specific statistical tests used  to test for differences in the demographic  variables were given in the text.      The results could be presented in fewer  figures and tables, and the authors could be  somewhat more consistent with their use of  units in the text. Author use of a scale from  0‐10 leads to some confusion in the figures  since the first category contains three grades  while the others contain two. Clarity might  also be improved if the figure axes had been  labeled.     The subjects seemed very positive about the  “Keeping Current” tutorial. However, one  wonders if they were also biased by  payment to take part in the interviews. It  would improve our understanding of the  representativeness of the UIC sample if the  selection criteria for the 15 participants in  this part of the study were more clearly  stated.    Although four libraries began the project,  one library (Earlham College Library)  dropped out for a number of reasons: the  time‐consuming nature of the project, the  amount of work involved, other work  commitments, changing work assignments,  and ample opportunities to deliver content  through “live instruction” (which decreased  motivation). This provides important  management information for libraries  interested in launching similar projects,  especially since the others libraries had  similar concerns in the final evaluation of  the project. This result underlines the need  for management to make realistic  predictions concerning time, human  resources, and (presumably) costs before  embarking on multimedia productions.     Finally, the studies are fairly valid and  reliable (but not replicable in the present  form of the article) and they provide  reasonable evidence to support the practice  of educational librarians, multimedia  experts, and library managers in a  university library setting.     Works Cited    Drabenstott, Karen Markey. “Interactive  Multimedia for Library‐User  Education.” portal: Libraries and the  Academy 3.4 (2003): 601‐13    Brettle, Alison. “Information Skills Training:  A Systematic Review of the Literature.”  Health Information & Libraries Journal  20.S1 (Jun. 2003): 3‐9.