Microsoft Word - ES_Kloda.doc Evidence Based Library and Information Practice 2007, 2:4  67 Evidence Based Library and Information Practice       Evidence Summary    Skills Gained from University Library Instruction Sessions Are Perceived as Useful  Four to Eight Weeks Later      A review of:  Wong, Gabrielle, Diana Chan, and Sam Chu. “Assessing the Enduring Impact of Library  Instruction Programs.” Journal of Academic Librarianship 32.4 (July 2006): 384‐95.      Reviewed by:   Lorie A. Kloda  PhD student, School of Information Studies, McGill University  Montreal, Quebec, Canada  E‐mail: lorie.kloda@mcgill.ca    Received: 05 September 2007     Accepted: 20 September 2007      © 2007 Kloda. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To assess the impact of a  university library instruction program.    Design – Survey questionnaire  administered post‐intervention.    Setting – A mid‐size science and technology  university in Hong Kong.    Subjects – Student and staff participants in  either course specific or open (elective)  library instruction workshops.    Methods – Surveys were conducted to  measure the perceived effectiveness of the  library instruction program, including  various types of course specific (CS) and  open workshops (OW). Librarians  responsible for teaching nominated the  sample of workshops for evaluation.  Students in all but one CS workshop were  provided with a 14‐question paper  questionnaire in class by their course  instructor, while participants in all of the  open workshops and one CS workshop  received the same questionnaire via e‐mail.  The questionnaires were distributed  between four to eight weeks following the  workshops in order to gauge the “enduring”  impact of the instruction. Most questions  were closed, forcing participants to choose  an answer from a list or select from a 4‐ or 7‐ point Likert scale. Comments were also  solicited. Results were summarised and  analysed using SPSS software. The CS and  OW questionnaires were studied separately  to allow for comparisons between groups.    mailto:kloda@mcgill.ca http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:4  68 Main results – Out of 133 workshops taught  in the fall of 2004, 25 were included in the  sample: 15 CS and 10 OW. The overall  response rate was 68%, with 466 participants  completing questionnaires. Most  participants indicated that the workshops  were useful for learning about sources and  search methods for finding information  quickly. The majority (72.2%) responded  that they felt an increase in confidence when  conducting library research and slightly  more than half (57.9%) agreed the  workshops led to an increased interest in  using the library. The responses differed  significantly for the CS and OW groups: OW  participants consistently rated the  usefulness of the workshops higher than CS  participants. In regards to retention of skills,  68.5% of participants responded in the  affirmative when asked of they had  continued using the skills taught, with rates  ranging from 56 to 83% depending on the  workshop. There was little difference in  perceived retention between the CS and OW  groups. The skills most frequently identified  as having been learned included the abilities  to “form better search strategies” and “find  better Internet resources.” Written feedback  included remarks on reducing class size and  length, and increasing practice time and the  number of handouts.    Conclusion – A “delayed perception  survey” revealed positive feedback from  library workshop participants on questions  about confidence, usefulness, and retention  of skills learned. There was a significant  difference in confidence levels reported  between CS and OW groups, with OW  participants reporting higher levels of  confidence. The researchers surmise this  might be a result of self‐selection, as OW  participants volunteered both to attend the  library instruction workshops and to  respond to the survey questionnaire. The  short questionnaire is an efficient tool for  assessing the perceived usefulness of library  workshops for both course‐integrated  sessions and elective workshops.     Commentary    This study attempts to assess the quality of a  university library’s instruction program in a  given semester. Assessment on such a large  scale is a difficult undertaking, especially  considering the lack of validated  standardised assessment tools available to  librarians. The authors selected a reasonable  method, the perception survey, to conduct  their assessment. Their questionnaire is also  made available in the publication, thus  enabling others to adapt it for their own use.  While this study makes a contribution to  assessment studies of library instruction  programs at institutions of higher education,  it falls short in several areas.    The convenience sample was not  randomised, making it difficult to assume  representativeness. In addition, there is no  indication that the results of the survey are  normally distributed, and that the 2 groups  exhibit homogeneity of variance –  requirements for parametric testing such as  the t‐test employed. It is therefore  questionable as to whether the results have  any statistical significance. Also typical of  many assessment studies is the absence of a  control group or testing prior to the  intervention. This also makes the results less  conclusive. The article omits an explanation  as to how class size was determined, placing  into question any conclusions on the impact  of class size on retention. It is also important  to keep in mind the survey did not assess  actual learning, but the perception of such  learning. While the authors state that the  survey assessed the “enduring impact” of  the instruction program, further assessment  is required to conclude that any long‐term  learning has taken place beyond the four to  eight week period.     Evidence Based Library and Information Practice 2007, 2:4  69 Assessment initiatives are rampant in LIS,  particularly for information literacy  programs at the university level. Librarians  are asked to justify resources spent on such  programs to administrators, who in turn use  the quantitative data as a means of  comparison with other teaching and for  decision making. It is understandable that  universities wish to make comparisons  across the institution using standardised  measures, such as the 7‐point Likert scale for  evaluating instructors used in this study.  The end, however, does not necessarily  justify the means. Students and other  workshop participants should not be forced  to switch from 4‐point to 7‐point Likert  scales in order to accommodate bureaucratic  requirements. To assess library instruction  at the programmatic level, a more complex  design is required, one that ideally involves  qualitative methods and multiple data  sources. In addition to workshop  participants, course instructors and  librarians should also be interviewed  individually or in groups to provide richer  data. The authors of this study attempted to  include some qualitative data by leaving  space for comments on the survey, and as a  result received some very useful feedback.  A follow‐up study delving further into these  comments would be very welcome in a  literature already overflowing with numbers.