Microsoft Word - ES_Lewis.doc


Evidence Based Library and Information Practice 2006, 1:1 

 92

   Evidence Based Library and Information Practice  
 
 
 
Evidence Summary 
 
The Majority of Library Clients Still Use Person‐to‐Person Interaction when Asking 
Reference Questions 
 
A review of:  
De Groote, Sandra L. “Questions Asked at the Virtual and Physical Health Sciences Reference 

Desk: How Do They Compare and What Do They Tell Us?” Medical Reference Services 
Quarterly 24.2 (Summer 2005): 11‐23. 

 
Reviewed by:  
Suzanne P. Lewis  
Library Manager, Central Coast Sector, Northern Sydney Central Coast Health 
Gosford, New South Wales, Australia 
Email: slewis@nsccahs.health.nsw.gov.au 
 
Received: 15 December 2005 Accepted: 14 February 2006 
 
 
© 2006 Lewis. This is an Open Access article distributed under the terms of the Creative Commons 
Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, 
distribution, and reproduction in any medium, provided the original work is properly cited. 
 
 
Abstract 
 
Objective – To identify similarities and 
differences in the questions asked at the 
virtual and physical reference desks of a 
health sciences library, in order to better 
understand user needs and highlight areas 
for service improvement. Also to 
retrospectively analyze reference statistics 
collected over the previous six years. 
 
Design – Use study; retrospective study of 
reference statistics for the period July 1997 
to June 2003; literature review. 
 
Setting – Large academic health sciences 
library in the United States. 
 
Subjects – All questions asked at the 
reference and information desks, plus 
questions submitted to the University‐wide 

virtual reference service and answered by a 
health sciences librarian, over a period of 
one month. The questions were asked by 
faculty, staff, students and members of the 
public.  
 
Methods – A literature review was carried 
out to examine the types of 
information/reference questions typically 
asked in health sciences libraries both before 
and after the mass introduction of remote 
end‐user searching of online resources and 
the establishment of virtual reference 
services. 
 
Next, the reference statistics collected at the 
University of Illinois at Chicago (UIC) 
Library of the Health Sciences between July 
1997 and June 2003 were examined. For 
most of this period a digital reference 
service was offered using a listserv address 

http://creativecommons.org/licenses/by/2.0


Evidence Based Library and Information Practice 2006, 1:1 

 93

to which patrons would submit email 
queries. Beginning in March 2003, a formal 
virtual reference service (chat and email) 
was provided using commercial software.  
 
Finally, data was gathered on questions 
answered by a health sciences librarian, and 
clients who asked the questions, at either the 
physical or virtual reference desk, during 
the month of November 2003 at the UIC 
Library of the Health Sciences. Library staff 
completed an online survey form for each 
question, and if a client asked more than one 
question, each question was coded 
individually. Data included: status of client 
using the service (faculty/staff, 
undergraduate student, graduate student, 
non‐UIC, unknown); mode of submission 
(email, chat, phone, in person); and type of 
question asked (directional, ready reference, 
in‐depth/mediated, instructional, technical, 
accounts/status and other).  In subsequent 
analysis, the original seven types of 
questions were further broken down into 19 
categories.  
 
Main results – It was not possible to 
undertake a meta‐analysis or systematic 
review of the studies identified in the 
literature review because of differences in 
time frames, settings and the categories used 
to code reference questions. However the 
following trends emerged: directional 
questions accounted for between 30 and 
35% of questions asked at both physical and 
virtual reference desks; the remainder of 
questions were generally about known item 
searches, library policies and services, 
research, database use and quick reference. 
 
The statistics collected at UIC Library of the 
Health Sciences over the period July 1997 to 
June 2003 were analyzed. Coded reference 
questions fell into one of four categories: 
ready reference, in‐depth reference, 
mediated searches and digital reference. 
There was a noticeable drop in the number 
of reference questions received in 1999/2000 

which reflects trends reported in some of the 
studies identified in the literature review. 
The number of mediated searches decreased 
from 154 in 1997/98 to 4 in 2002/2003, but the 
number of digital reference questions 
increased from 0 to 508 in the same period. 
 
Statistics were collected over the month of 
November 2003 for 939 questions asked at 
the reference and information desks which 
included: 38 e‐mail; 48 chat; 156 phone; and 
697 in person. The major findings were as 
follows: 
 
• approximately 55% of questions were 

reference questions (33.5% ready 
reference, 9.7% in‐depth/mediated, 9.7% 
instructional); 30% were directional; and 
10% were technical; it is not stated what 
the remaining 5% of questions were; 

 
• library clients who asked the questions 

comprised graduate students (26%), 
faculty (24%), undergraduate students 
(24%) and non‐UIC patrons (22%); 

 
• all groups of clients were most likely to 

ask their reference questions in person; 
 
• graduate students were the largest users 

of email reference (34%), 
undergraduates were the largest group 
to use chat (35%) and faculty/staff were 
the largest group to use the telephone 
(39%); 

 
• 28% of the questions were answered 

from library’s staff’s general knowledge 
of the library; 22% using the online 
catalogue or electronic journal list; 22% 
by referring the patron to, or using, an 
online database or resource; 13% by 
referring the patron to another 
department in the library (such as 
circulation); 7% by consulting another 
individual; and 5% by using print 
resources. 

 



Evidence Based Library and Information Practice 2006, 1:1 

 94

Conclusion – The results of the three parts 
of this study – literature review, study of 
1997‐2003 statistics, and in‐depth collection 
of statistics for November 2003 – are 
difficult to compare with each other. 
However, the general trend emerging from 
the results is that some kinds of questions 
asked by health sciences library clients have 
remained very much the same regardless of 
the rise of remote end‐user searching and 
the mode of transmission of the questions. 
These include questions about library 
policies and services, journal and book 
holdings, database searching and 
instructional support.  Questions about 
citation verification and consumer health 
appear to be decreasing while technical 
questions and questions about accessing 
remote databases and online journals are 
increasing. The majority of reference 
questions are still asked in person. 
 
Commentary 
 
The author clearly states the objective of this 
study – to examine the types of questions 
asked and the demographic categories of the 
users of the virtual and physical reference 
desks in a health sciences library. However 
the article loses focus on the objective by 
starting with an overly long literature 
review. The studies described in the 
literature review are too disparate to be 
directly comparable with each other and the 
November 2003 in‐depth study does not 
appear to use the methodology of any of the 
earlier studies identified in the review. 
 
The subjects of the study are the questions 
asked during November 2003 by clients of 
the information desk and physical reference 
desk at the UIC Library of the Health 
Sciences, plus questions asked at the 
University‐wide virtual reference desk that 
were answered by a health sciences librarian. 
The total number of questions included in 
the study is 939 which is an adequate 
sample size.  

The data collection instrument used in this 
study – an online survey form – was not 
provided in the article, thereby limiting the 
replicability of the study. The coding of the 
questions is difficult to determine, as neither 
a comprehensive list nor definitions of 
coding categories are given. The data was 
recorded by the librarians providing the 
service being studied. The author does not 
discuss any possible measures taken to 
reduce bias beyond stating that the library 
staff received training on filling out the 
forms to clarify definitions. The response 
rate to this study was presumably 100%, but 
the article does not state whether all online 
survey forms were filled out in sufficient 
detail to be used in the study. 
 
The author states that “the data gathering 
was to be unobtrusive to the users”. It is not 
clear whether clients of the reference desk 
knew they were participating in a study, or 
whether consent to participate was sought 
or given. 
 
There is some analysis of the reference 
statistics collected by the UIC Health 
Sciences Library staff over the period July 
1997 to June 2003. The November 2003 study 
may have replicated some aspects of the 
1997‐2003 statistics collection, but this is not 
clearly stated. More value could have been 
derived from the retrospective statistics if 
more detail was provided on how they were 
collected and how the original coding of 
reference questions relates to the coding 
used in the later study. The author does not 
state clearly whether the online survey form 
used in the November 2003 study is the 
same instrument used to capture the earlier 
statistics. 
 
The results of the study are generally clearly 
presented, although this reviewer found 
several of the graphs too small to read easily. 
On occasion, different terms are used for the 
same type of reference question. For 
example, the article refers to “database 



Evidence Based Library and Information Practice 2006, 1:1 

 95

searches to find articles” and “how to find 
articles on a particular topic,” but it is not 
clear whether these are the same, or 
different, coding categories.  
 
Overall, the study is valid, but its reliability 
is compromised by not supplying the reader 
with enough information, and its 
applicability is limited. The reliability of the 
study is reduced by the author’s failure to 
include all relevant information and results. 
The author states that “coded information 
was … analyzed using SPSS statistical 
software” but complete results including 
statistical significance are not given. Not 
enough detail is given in this article to 
enable another library to repeat the study; 
the data collection instrument and data 
coding would be needed. The study is 
directly applicable to academic health 
sciences libraries and could be adapted for 
use by other libraries if further information 
could be obtained from the author. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

This is a useful study in that it demonstrates 
that the majority of library clients still use 
person‐to‐person interaction when asking 
reference questions. Only 25% of the 
questions received during the in‐depth 
study period (November 2003) were asked 
via phone, email or chat; the remaining 75% 
of questions were asked in person. The 
study provides useful evidence for health 
sciences librarians to present to 
administrators who may question the value 
of maintaining and funding a physical 
library. The study also highlights the fact 
that some library clients are more likely to 
use phone, email or chat to ask questions 
than others. This is one possible area of 
future study and has implications for 
staffing virtual reference desk services and 
promoting the service to different client 
groups.