Microsoft Word - ES_Needham.doc


Evidence Based Library and Information Practice 2006, 1:2 
 

  30

   Evidence Based Library and Information Practice  
 
 
 
Evidence Summary 
 
A Web‐based Tutorial May Produce the Same Cognitive Outcomes as Face to Face 
Instruction 
 
A review of: 
Beile, Penny M. and David N. Boote. “Does the Medium Matter?: A Comparison of a Web‐Based 

Tutorial with Face‐to‐Face Library Instruction on Education Students’ Self‐Efficacy 
Levels and Learning Outcomes.”  Research Strategies 20 (2004): 57‐68. 

 
Reviewed by: 
Gill Needham 
Head of Strategic and Service Development, The Open University Library and Learning 
Resources Centre 
Walton Hall, Milton Keynes, United Kingdom 
E‐mail: g.needham@open.ac.uk 
 
Received: 28 February 2006  Accepted: 13 April 2006 
 
 
© 2006 Needham. This is an Open Access article distributed under the terms of the Creative Commons 
Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, 
distribution, and reproduction in any medium, provided the original work is properly cited. 
 
 
Abstract 
 
Objective – To determine whether library 
skills self‐efficacy levels and learning 
outcomes of postgraduate education 
students varied with different instructional 
delivery methods, specifically Web‐based or 
face to face. 
 
Design – Pre‐ and post‐intervention survey 
comparing three groups receiving different 
types of instruction. 
 
Setting – Department of Educational 
Studies at a large U.S. urban university. 
 
Subjects – Forty‐nine masters, doctoral, and 
certificate‐seeking education students 
enrolled in one of three sections of a 

research methods course. There were 40 
female and 9 male students. 
 
Methods – Immediately before receiving 
library instruction, the three student groups 
were asked to complete a library skills self‐
efficacy questionnaire, comprising 30 items 
designed to measure students’ perceptions 
of their ability to successfully perform 
library research. They also completed a 
library skills test, consisting of 20 multiple 
choice questions, designed to assess 
conceptual knowledge, knowledge of 
database searching, and institution‐specific 
knowledge.  The intervention groups were: 
 

• Group 1 (Sixteen students)  –  an on‐
campus class that received a face to 
face instruction session comprised 

http://creativecommons.org/licenses/by/2.0


Evidence Based Library and Information Practice 2006, 1:2 
 

  31

of a 70‐minute demonstration of key 
library databases followed by an 
activity that allowed students to 
practice their skills. 

 
• Group 2 (Nineteen students) – an 

on‐campus class that received a 
Web‐based tutorial comprised of 
four interactive modules, requiring 
an average 80 minutes to complete.  

 
• Group 3 (Nineteen students) ‐ a 

Web‐based class that received the 
same Web‐based tutorial as Group 2. 

 
The survey and test were repeated six weeks 
after the instruction. 
 
Main results – Both self‐efficacy scores and 
library skills test scores increased for all 
three groups post‐intervention. Average 
self‐efficacy levels increased from a mean of 
68.88 (SD=19.92) to a mean of 91.90 
(SD=16.24); library skills scores increased 
from an average score of 58.78 (SD=13.80) to 
an average of 73.16 (SD=12.65). There was 
no statistically significant difference 
between the post‐ intervention scores of the 
three groups on the library skills test.  
However, the Web‐based students in Group 
3 showed a statistically significant greater 
increase in self‐efficacy score (78.86 to 102.36) 
when compared with Group 2 participants 
(64.74 to 83.68). 
 
Conclusion – The study provides evidence 
that library instruction is effective in 
increasing both skill levels and self‐efficacy 
levels. It does not give a clear indication of 
the relative value of different modes of 
delivery, but it does support the contention 
that Web‐based tutorials are at least as 
effective as face to face sessions.   
 
Commentary 
 
This study is ambitious in attempting to 
compare three different combinations of 
settings and methods for delivering 
information skills instruction.  The three 

groups are fairly small (16, 19, and 14 
participants respectively), and there is no 
way to determine the extent to which they 
are representative of the population of 
postgraduate educational studies students. 
Participants were not randomly assigned to 
the three groups. Participants in Group 1 
and Group 2 had chosen to attend a campus 
class, and members of Group 3 had selected 
a Web‐based class.  
 
The study does not provide details as to 
how students were allocated between 
Group 1 (campus class with face to face 
instruction) and Group 2 (campus class with 
Web‐based instruction).  Group 3 students 
were however self‐selected, having chosen 
to receive Web‐based instruction, which 
suggests that they may have been more 
familiar with that mode of delivery. It 
would therefore be potentially misleading to 
conclude from the results that Web‐based 
tutorials are more effective in a Web‐based 
classroom than in a campus classroom. 
Another issue is that a large number of 
statistical procedures are reported in the 
findings without a great deal of explanation 
for those with limited knowledge of 
statistics. 
 
A major strength of the study is that the 
post‐intervention tests were conducted six 
weeks after the library instruction. We do, 
however, know very little about the two 
instruments themselves; it would have been 
helpful to include them as an appendix.  The 
authors themselves draw attention to the 
fact that neither instrument had been 
validated with the sample population, 
although they had been tested in advance 
with a different sample. The authors also 
note that the multiple choice quiz used to 
test knowledge and skills may be of limited 
value and suggest that empirical 
observation of performance and/or 
analyzing the quality of references in a 
bibliography might yield more authentic 
outcomes. It would also have been helpful, 
from a practitioner perspective, to have 
more information about the content and 



Evidence Based Library and Information Practice 2006, 1:2 
 

  32

delivery of the face to face instruction. The 
brief description provided (“a 70 minute 
demonstration of relevant library databases, 
followed by an activity to allow the students 
to immediately apply the lesson” 61) 
suggests a far less engaging student 
experience than the interactive Web‐based 
tutorial (<http://library.ucf.edu/cmc/edtut>), 
but this may underestimate the quality of 
the face to face teaching. One of the 
potential weaknesses of studies of this kind 
is that there is rarely any attempt to 
independently assess the comparability of 
the quality of the educational interventions, 
in order to isolate the influence of the mode 
of delivery. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

This study is helpful in that it serves to 
support the hypothesis that library 
instruction has a positive influence on both 
library skills self‐efficacy levels and learning 
outcomes.  It also suggests that Web‐based 
tutorials are at least as effective as face to 
face teaching sessions and that these may be 
successfully delivered either in the 
classroom or via the Web.   
 
 

http://library.ucf.edu/cmc/edtut