Microsoft Word - ES2_917_final_final_final Evidence Based Library and Information Practice 2008, 3:1  57 Evidence Based Library and Information Practice       Evidence Summary    Computer‐Assisted Library Instruction and Face‐to‐Face Library Instruction Prove  Equally Effective for Teaching Basic Library Skills in Academic Libraries    A review of:    Zhang, Li, Watson, Erin M. and Banfield, Laura.  ʺThe Efficacy of Computer‐Assisted Instruction  Versus Face‐to‐Face Instruction in Academic Libraries:  A Systematic Review.ʺ  The Journal  of Academic Librarianship 33.4 (July 2007):  478‐484.      Reviewed by:  Stephanie Walker  Acting Chief Librarian & Executive Director of Academic Information Technologies   Brooklyn College – City University of New York   Brooklyn, NY, USA  E‐mail:  swalker@brooklyn.cuny.edu       Received: 28 November 2007      Accepted: 23 January 2008      © 2008 Walker. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.    Abstract    Objective – To conduct a systematic review  of several studies comparing the efficacy of  face‐to‐face versus computer‐assisted  instruction (CAI) for teaching basic library  skills to patrons of academic libraries.    Design – Systematic review of existing  studies (randomised controlled trials and  controlled trials).      Setting ‐ College and university libraries     Subjects – The subjects studied were  patrons of any type of academic library,  whether university, college, or other post‐ secondary institution, receiving instruction  in basic library skills. Ten studies were  included in the review, of which seven were  done in the United States, two in Australia,  and one in Canada. The total number of  subjects in all of the studies under review  was 1283. Nine of the studies focused on  undergraduates enrolled in specific courses  (undergraduate courses ranging widely in  subject area, or in one case a first year  experience program); the other study  focused on library instruction methods  taught to students in a graduate research  methods course, yet the study was still  intended to measure the efficacy of library  Evidence Based Library and Information Practice 2008, 3:1  58 instruction methods, yet the study was still  intended to measure the efficacy of library  instruction methods.      Methods – One included study was a  randomised controlled trial; the other nine  were controlled trials. The date range under  consideration was for studies done between  1990 and 2005. All original studies were  required to compare the efficacy of face‐to‐ face versus CAI instruction. Both  information skills and students’ reactions to  receiving the instruction were considered.  To identify appropriate studies, searches  were done across the following library and  education‐related databases: LISA, ERIC,  and Library Literature. The authors screened  the 728 unique studies’ bibliographic  information for relevance against four  criteria: studies had to be of a particular  type of design (randomised controlled trials,  controlled trials, cohort studies, and case  studies), with a sample size greater than one  and with pre‐ and post‐test measurements;  study participants had to be academic  library patrons; the study needed to  compare CAI and face‐to‐face instruction;  and both the students’ information skills  and reactions to the instruction had to be  measured. This left 40 unique studies, which  were then retrieved in full text. Next, studies  were selected to meet the inclusion criteria  further using the QUOROM format, a  reporting structure used for improving the  quality of reports of meta‐analyses of  randomised trials (Moher et al 1896‐1900).   Evaluation of methodological quality was  then done using a dual method: authors  Watson and Zhang assessed the studies  independently, each using the “Checklist for  Study Quality” developed by Downs and  Black (Downs and Black 377‐384), adapted  slightly to remove non‐relevant questions.   After analysis, when additional information  was needed, original study authors were  contacted.  Finally, ten studies were  included in the analysis.      The instruction sessions covered many  topics, such as catalog use, reading citations,  awareness of library services and  collections, basic searching of bibliographic  databases, and more. But all could qualify as  basic, rather than advanced, library  instruction.  All studies did pre‐ and post‐ tests of students’ skills – some immediately  after instruction, and others with a time  lapse of up to six weeks. Most authors  created their own tests, though one adapted  an existing scale. Individual performance  improvement was not studied in many cases  due to privacy concerns.      Main Results ‐ Nine of the ten studies  found CAI and face‐to‐face instruction  equally effective; the tenth study found face‐ to‐face instruction more effective. The  students’ reaction to instruction methods  varied – some students felt more satisfied  with face‐to‐face instruction and felt that  they learned better, while other studies  found that students receiving CAI felt more  confident.  Some found no difference in  confidence.      It was impossible to carry out a meta‐ analysis of the studies, as the skills taught,  methods used, and evaluation tools in each  case varied widely, and the data provided  by the ten studies lacked sufficient detail to  allow meta‐analysis. As well, there were  major methodological differences in the  studies – some studies allowed participants  the opportunities for hands‐on practice;  others did not. The CAI tutorials also varied  – some were clearly interactive, and in other  studies, it was not certain that the tutorial  allowed for interactivity.      The authors of the systematic review  identified possible problems with the  selected studies as well.  All studies were  evaluated according to four criteria on the  modified Downs‐Black scale: reporting,  external validity, and two measures of  internal validity (possible bias and possible  Evidence Based Library and Information Practice 2008, 3:1  59 confounding).  A perfect score would have  been 25; the mean score was 17.3. Areas  where authors lost points included areas  such as failure to estimate data variability,  failure to report participants lost to follow‐ up, failure to have blind marking of pre‐  and post‐tests, failure to allocate  participants randomly, and a variety of  other areas. As well, few studies examined  participants’ confidence level with  computers before they participated in  instruction.      Conclusion – Based on this systematic  review, CAI and face‐to‐face instruction  appear to be equally effective in teaching  students basic library skills. The authors of  the study are reluctant to state this  categorically, and issue several caveats: a)  only one trial was randomised; b) seven of  the studies were conducted in the USA, with  the others being from Canada and Australia,  and learning and teaching styles could be  very different in other countries; c) the  students were largely undergraduates, and  the authors are curious as to whether results  would be similar with faculty, staff, or older  groups (though of course, not all  undergraduates are traditional  undergraduates); d) the tests ranged widely  in design, and were largely developed  individually, and the authors recommend  developing a validated test; and e) if the  pre‐ and post‐tests are identical and given in  rapid succession, this could skew results.      Commentary – The fact that the trials  included in the systematic review were not  randomised is of some concern, but this  does not negate the usefulness of the work.   It would be of greater concern if the lack of  randomisation included students being  permitted to choose their method of  instruction; but this does not appear to have  been the case. Lack of randomisation was  more a factor in the choice of the test  subjects. Studies were done on particular  groups of people, such as classes of  students. It is often difficult or impossible to  have randomisation in studies like this due  to budgetary constraints or lack of access to  other potential participants. Given this, if  the objective is simply to evaluate the  effectiveness of CAI vs. face‐to‐face  instruction, controlled trials should suffice,  as no one wishes to disadvantage any  particular group by randomising who does  or does not receive instruction.  That nine of  the ten studies selected were controlled  trials speaks to this ethical dilemma.      As well, studies conducted across the USA,  Canada, and Australia are perhaps less  likely to vary as widely as studies  conducted in the USA compared to studies  conducted in countries which are less well‐ supplied with technology. This is an issue to  consider when evaluating the usefulness of  this work. If one conducted similar studies  in developing countries, results might differ  substantially.        Students were indeed largely  undergraduates, but that is where libraries  hope to ‘catch’ them – to inculcate library  skills at an early stage in their academic  careers. So evaluating the effectiveness of  CAI vs. face‐to‐face instruction seems most  important for academic librarians who wish  to determine how best to spend their time  and resources – on developing CAI to  relieve us of the often‐heavy burden of  dozens of sections of identical or near‐ identical library instruction, or on face‐to‐ face instruction, should that have been  absolutely proven to be more effective.      The final two concerns of the authors, as  expressed in their conclusions, seem to merit  the greatest discussion. To take them in  reverse order:  How much is it possible that  test results were biased in some studies if  the pre‐ and post‐tests were identical, and,  worse still, given in close time proximity?  And how much effect did diversity in the  tests have on the results?  Given that most  Evidence Based Library and Information Practice 2008, 3:1  60 found that CAI and face‐to‐face instruction  were similarly effective, this latter point  may not be a huge concern, as there was a  level of consistency across many studies.  However, the authors are correct when they  state that there is more to be done.  Recommended changes would be a  validated and consistent test, tried across  multiple institutions, with pre‐ and post‐ tests that were both different and given at  set times in the course. Also, an interactive  version of CAI, with randomised and  validated quiz questions generated to test  learning, could be useful. As the authors  stated, it is not clear that all CAI was  interactive; yet interactivity enhances the  user experience.      One additional concern is that while the  studies reviewed all fall within the date  range of the systematic review (1990‐2005),  the aim of the study was to evaluate current  practices in CAI. There have been great  technological advancements in the latter  portion of the date range, and the usage of  the web has expanded enormously.  Additionally, user comfort with technology  has likely grown in recent years. Additional  research focusing on latter years could be  useful.     This systematic review contributes to our  understanding of the state of knowledge  about CAI vs. face‐to‐face instruction for  library instruction, and points to directions  for further development. This article is also  useful for instruction librarians interested in  developing CAI; it would also be helpful to  libraries struggling with the question of  whether CAI can indeed substitute for face‐ to‐face instruction in some cases. CAI is  often seen as a way to reduce teaching load  for instruction librarians, though it can have  huge up‐front time and financial investment  requirements; this study may help  instruction librarians and others decide  whether such investment is likely to be  worthwhile for their situations.      Works Cited  Downs, Sara H. and Black, Nick. ʺThe  Feasibility of Creating a Checklist for  the Assessment of the Methodological  Quality both of Randomised and Non‐ Randomised Studies of Health Care  Interventions.ʺ Journal of  Epidemiology and Community Health  52.6 (1998): 377‐384.   Moher, David et al. ʺImproving the Quality  of Reports of Meta‐Analyses of  Randomised Controlled Trials:  The  QUOROM Statement.ʺ Lancet 354.9193  (1999): 1896 ‐ 1900.