Microsoft Word - ART_Lupien.doc


Evidence Based Library and Information Practice 2007, 2:2 
 

 67

   Evidence Based Library and Information Practice  
 
 
 
Article 
 
Out of the Question!... How We Are Using Our Students’ Virtual Reference Questions to 
Add a Personal Touch to a Virtual World 
 
 
Pascal Lupien  
Academic Liaison Librarian 
University of Guelph Library 
Guelph, Ontario  
plupien@uoguelph.ca 
   
Lorna Evelyn Rourke  
Academic Liaison Librarian, University of Guelph Library 
Guelph, Ontario  
Lecturer, Faculty of Information & Media Studies 
University of Western Ontario 
lrourke@uoguelph.ca 
 
 
Received: 08 February 2007    Accepted: 18 May 2007 
 
 
© 2007 Lupien and Rourke. This is an Open Access article distributed under the terms of the Creative 
Commons Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, 
distribution, and reproduction in any medium, provided the original work is properly cited. 
 
 

Abstract 
 
Objective ‐ To investigate the types of questions students ask and the language they use in 
virtual reference. It is hoped that this examination will provide understanding of students’ 
needs and thus improve/enhance library services. 
 
Methods ‐ Over 600 virtual reference transcripts were reviewed, analysed and categorised. 
This work was focused on three levels of analysis: broad categories based on the general 
type of question being asked, subcategories based on the specific question and the language 
that students used to ask their questions. 
 
Results ‐ Students are primarily using the library’s virtual reference service for higher‐level 
research assistance rather than using the tool to obtain quick answers to simple questions. 
The two most common types of questions involved staff providing detailed information or 
instruction on a topic. More specifically, the most frequently occurring type of question was 
related to finding journal articles on a given topic. Our analysis of the words students use to 

mailto:plupien@uoguelph.ca
mailto:lrourke@uoguelph.ca
http://creativecommons.org/licenses/by/2.0


Evidence Based Library and Information Practice 2007, 2:2 
 

 68 

ask their questions confirmed that students and librarians often do not speak the same 
language. 
 
Conclusion ‐ The results of our analysis of students’ needs and language can help us 
understand our users. This study demonstrated that our library can enhance services in five 
areas: online services, collections, relationships, staff skills, and the library as place.

 
 

Introduction 
 
The University of Guelph, located in 
southern Ontario, Canada, is a research‐
intensive and learner‐centred institution 
with 17,000 full‐time students and 16,000 
distance education course enrollments. The 
library has offered a virtual reference (VR) 
service since 2001; Docutek VR software is 
used and, since 2006, Windows Live 
Messenger (MSN) service has also been 
implemented. Ten staff participate in this 
service, which is available during daytime 
hours Monday to Friday. This paper 
describes the University of Guelph’s virtual 
reference (VR) transcript analysis project 
and discusses how the evidence from the 
analysis can be used to enhance and 
implement changes to library services. The 
study involved a two‐year examination of 
600 Docutek VR transcripts, with a focus on 
the questions being asked by users. The 
analysis looked at the words being used by 
students in their questions, as well as the 
information and library‐related needs 
demonstrated by these questions.  The 
findings from the VR transcript analysis (the 
only written record of reference interactions 
with users) have been complemented by 
other information, including anecdotal 
evidence gleaned from reference desk 
interactions. In the past, decisions about 
library services were often made based on 
what librarians thought was happening in 
reference transactions, but examining the 
transcripts has provided concrete evidence. 
In some cases, the analysis confirmed what 
was already known, and in some cases the 
results were surprising! 

Review of the Literature 
 
As VR has become increasingly common, 
there has been an explosion of research and 
case studies in the library and information 
science literature. A number of studies have 
focused on analysing the transcripts of VR 
sessions. These have looked at various 
issues such as the types of questions asked, 
the types of users and resources used to 
answer questions, and the quality of 
responses based on standards such as ACRL. 
A number of studies have attempted to 
understand what users are asking by 
classifying VR questions into categories.  
 
Diamond and Pease reviewed e‐mail 
reference questions over a period of two 
years and found that similar questions were 
asked in the virtual format compared to the 
traditional reference desk. Questions were 
grouped under 11 categories including 
database mechanics, catalogue questions, 
information literacy and non‐library 
questions (Diamond and Pease 210‐219).  
 
Sears analysed four months of transcripts to 
identify the types of users, types of 
questions, the resources used by staff to 
answer the questions and the extent to 
which library resources were used (Sears).  
 
Broughton analysed usage data and user 
surveys for one academic year at Bowling 
Green State University (BGSU). Included in 
this study was an analysis of question type 
according categories such as finding articles 
on various topics, patron records, university 
information, off‐campus access and referrals. 



Evidence Based Library and Information Practice 2007, 2:2 
 

 69

These categories were created by the 
librarians who provide virtual reference 
(Broughton 190‐192).  
 
Another review of virtual reference 
transcripts was undertaken by Curtis and 
Greene, who analysed the University of 
Nevada’s university‐wide chat service run 
by librarians. This chat service provides an 
opportunity for prospective students and 
registered students to ask questions about 
the university in general or library‐related 
questions. This study identified that 25% of 
the questions were library‐related and 
categorized as reference, authentication, 
reserves and interlibrary loan (Curtis and 
Greene 220‐233).       
 
Others have conducted similar studies for 
instant messenger (IM) transcripts. Foley 
describes a University of Buffalo pilot 
project to determine the viability of 
providing a chat reference service. The 
project utilized America Online’s Instant 
Messenger software, and data was collected 
for a period of one academic year. In order 
to protect privacy, transcripts were not kept; 
however, after each session staff were 
responsible for paraphrasing the question 
and entering it into a database. The 
questions were reviewed and they were 
categorized as information literacy, 
catalogue, navigation of library Web site, 
general library information, technical issues, 
general Web navigation, reserves, university 
information, research, ready reference and 
questions about virtual reference (Foley 41‐
43).   
 
Desai describes the use of IM at Southern 
Illinois University by identifying the usage, 
the types of questions asked and the impact 
of the technology on the reference 
interaction. Similar to other studies, 
questions were categorized based on Katz’s 
categorization of reference questions with 
the addition of an ‘other’ category (Desai 23‐
25).   

Some studies have compared the use of the 
different mediums for delivering online 
reference services. Lee conducted a 
comparison of chat and email reference 
questions, including an analysis of the types 
of questions asked, the number of words 
required to answer the questions, the 
number of calls and their duration, as well 
as the metrics of the chat transcripts. 
Questions were categorized as 
administrative or reference (Lee 98‐108).  
 
A number of studies have analysed 
transcripts to evaluate the responses 
provided by reference staff. A team at 
Central Missouri State University used the 
Reference and User Services Association 
(RUSA) guidelines as an evaluation tool 
(Zhuo, Love and Norwood 75‐88). Another 
team applied the RUSA guidelines to an 
analysis of transcripts generated by a 
Tutor.com homework help service and 
found that the transactions were severely 
lacking in the qualities required for effective 
reference service (Walter and Mediavilla 
214‐221). Smyth, in addition to analysing the 
transcripts for question type using Sears’ 
classification, also looked at the quality of 
the response based on ACRL Information 
Literacy Competency Standards (Smyth 28‐
29).  
 
A few studies have examined problems with 
the use of “library terminology” and 
differences in online communication styles 
between librarians and young people. 
Kupersmith used Web usability testing and 
focus group methodology to study library 
Web site terminology. He asserted that the 
average user success rate for finding journal 
articles or article databases from a library 
website is 53% due to the use of library 
terminology. He lists commonly used 
library terms not understood by users, such 
as database, index and periodical. 
Kupersmith’s Web site also provides links to 
a number of studies that look at issues such 



Evidence Based Library and Information Practice 2007, 2:2 
 

 70

as terminology used on library Web sites 
(Kupersmith).  
 
Fagan and Desai discuss common 
communication problems in the online 
environment and examine how effective 
communication strategies can be adapted 
and applied to this medium. Using 
transcripts to provide examples of good 
communication strategies, they argue that 
the skills needed to communicate effectively 
with patrons are different in the online 
environment. They suggest that librarians 
must avoid using library jargon and ʺrobot‐
like instructionsʺ by “speaking the patron’s 
language.” They provide tips on adding a 
human touch to IM reference transactions, 
including the use of more natural language 
and emoticons. Part of their article focuses 
specifically on language and grammar, and 
the authors warn that spelling and 
grammar‐conscious librarians may have to 
lower their standards when chatting with 
patrons in an IM environment. They argue 
that using common IM language, which 
may include abbreviations, shortcuts and 
misspellings, can make the librarian seem 
“more approachable and less robotic” 
(Fagan and Desai 125‐143).  
 
Similarly, Janes suggests that librarians 
must understand instant messaging lingo 
and culture to communicate effectively with 
young people (Janes 451). While many 
studies have focused on analysing the 
transcripts of VR and IM sessions, few 
articles have gone to the next level by 
examining the language students use to 
communicate with the library. Furthermore, 
while much of the research is useful in that 
it tells us how students are using online 
reference services, there has been little 
discussion in the literature about how this 
information can be used to make libraries 
more user‐friendly. The current study will 
attempt to address these issues. 
 
 

Methodology and Focus 
 
Approximately 600 virtual reference 
transcripts were reviewed from transactions 
that took place over a five‐month period 
from September 2005 to February 2006. 
Although using two people to categorise the 
questions would have increased the 
reliability of the results, in an attempt to 
maintain as much consistency as possible, 
one person was responsible for the question 
categorisation. While the focus was on the 
questions rather than on the answers, it was 
often necessary to examine the entire 
transcript to determine what the student 
was asking. Classification of reference 
questions is a difficult task, as the question 
asked is not necessarily the question that 
needs to be answered. Furthermore, many 
sessions involved more than one question. 
In this case, the session was categorized 
according to the original question and each 
session was counted in only one category.  
 
Analysis of the transcripts was based of 
three levels of analysis. Questions were first 
classified into broad categories based on the 
type of question. They were then separated 
into subcategories based on what the 
student was asking. Finally, the language 
that students used to ask their questions was 
analysed. In other words, the researchers 
wanted to know what students were asking 
and how they were asking it. The 
researchers used Excel spreadsheets to keep 
track of the questions and categories. 
 
Categorization of questions 
 
The broad categories were based loosely on 
Sears’ adaptation of Katz’s categories of 
reference questions, namely directional, 
ready reference, specific‐search, research 
and policy and procedure (Sears; Katz 14‐18). 
Directional questions involve directing the 
user to a geographical location or to a place  
 



Evidence Based Library and Information Practice 2007, 2:2 
 

 71

on the library Web site, policy and 
procedure questions involve inquiries about 
such topics as borrowing periods and fines, 
and ready reference questions are related to 
factual information and can be answered 
using reference materials. Specific search 
questions require detailed information or 
instruction on a topic and users are often 
referred to various sources. An example of 
this would be questions regarding finding 
journal articles on a given topic. The 
research category involves higher‐level 
research, generally of the type that would be 
conducted by faculty or graduate students. 
 
The categories were broken down into sub‐
categories based on the topics of the 
individual sessions. A total of 39 sub‐
categories were created across three of the 
broader categories (Directional, Policy and 
Procedural and Specific Search). 
Subcategories were created by the authors 
based on the content of recurring questions. 
If there were a sufficient number of 
questions on a particular topic, a 
subcategory was created to classify similar 
questions. The intention was to break each 
topic down as much as possible to see what 
kinds of things students were asking. This 
helped to determine, among other things, 
the most commonly asked questions.  
 

Following the classification of questions into 
broad categories and topic‐based 
subcategories, the researchers re‐examined 
the language used by students in each 
question to identify common terms or 
“lingo.” Transcripts were scanned for 
examples of library lingo and for recurring 
terms in students’ questions, and these were 
highlighted. The researchers also used the 
search capabilities in Excel to determine the 
number of times a particular term was used. 
For example, with respect to questions 
about finding journal articles, the various 
terms students used to ask for journal 
articles were closely examined and a list of 
all the words they used to ask for help 
finding articles was developed.  
 
Results 
 
Types of Questions 
 
The highest percentage of questions (41%) 
can be classified as specific search. Policy 
and procedure questions accounted for 
39.4% of the transactions, directional 
questions accounted for 14.87% and ready 
reference for only 4.59%. Higher‐level 
questions that could be classified as 
“research” were not asked on VR. 
 

 

Directional

Policy and
Procedure 
Ready
reference
Specific
Search

 
Table 1. Types of questions asked 
 
 



Evidence Based Library and Information Practice 2007, 2:2 
 

 72

Question type  Frequency (number of times asked 
/ 600 questions) 

How to find journal articles  106 
General research strategies  71 
Off‐campus access   60 
Locating library Web resources  36 
Library accounts    32 

 
Table 2. The 5 most frequently occurring questions and how often they were asked 
 
 
Specific search questions were broken down 
into the following subcategories: 
archives/special collections, data, 
Geographic Information Systems (GIS), e‐
books, finding books, finding 
articles/journal searching, getting started 
with research, government documents and 
statistics, index‐specific questions, using 
newspaper sources, referencing, finding 
theses and finding videos. Policy and 
procedures questions were broken down 
into alumni/community borrowers access, 
audio‐visual material, document delivery 
procedures, collections policy, holds/recalls 
procedures, user accounts, general library 
services, non‐student access, off‐campus 
access, open learning/distance education, 
ILL procedures, reciprocal borrowing, 
renewals, reserve procedure, special 
collections, technology issues and general 
university questions. Finally, the directional 
category was broken down into questions 
about the physical library, Web resources 
and inquiries about the university campus 
or Web site. 
 
These subcategories were used to determine 
the most commonly occurring questions. 
The two most common types of questions 
were search‐specific. Of these, the most 
frequently occurring question was related to 
finding journal articles. Questions were 
classified in this subcategory when a student 
specifically mentioned that journal articles 
must be used as a source of information. A 
straightforward example of this type of 
question is, “I am looking for journal articles  

 
on women’s rights in Nigeria. Can you 
help?” Of course, students expressed this 
need for information in many different ways, 
and often did not understand what they 
were being asked to look for. In these cases, 
a more complex online reference interview 
was often required to determine what the 
student was being asked to do. Table 2 
provides an illustration of the five most 
frequently occurring questions and how 
often they were asked. 
 
The next most frequently occurring 
questions revolved around general search 
strategies (n=71). Questions were classified 
here when the focus was on finding any 
information on a topic, not necessarily 
specific to journal articles. An example of 
this type of question would be, “I would like 
some information on something referred to 
as sickle cell disease.” General search 
questions that required instruction but were 
not linked to a specific type of source were 
also classified here.  
 
The third most frequently occurring 
questions were related to off‐campus access 
(n=60). These involved, for example, 
questions about how to access databases 
and e‐journals from home. The fourth most 
frequently asked questions were directional 
questions about locating resources on the 
library Web site (n=36). The frequency of 
this question can perhaps be attributed to a 
change in the library Web page at the 
beginning of the semester during which the 
transcripts were analysed. The fifth most  



Evidence Based Library and Information Practice 2007, 2:2 
 

 73

 
Term used  Occurrence  Term used  Occurrence 
Articles   27  Full text journals   2 
Journals (often used when 
they      
really mean “articles”)  

22  Magazines   2 

Journal article  –   17  Refereed journals   2 
E‐journals (ejournals, etc.)   8  Empirical research articles   1 
Online journals   7  Journal entry   1 
Peer reviewed articles   6  Periodicals   1 
Research articles   6  Popular articles   1 
Academic journals   5  Scientific articles   1 
Scholarly journals   4  Scientific journals   1 
Scholarly articles   3  Academic journal articles   2 
Empirical articles   2     
 
Table3.  Terms students used when asking for journal articles  
 
 
frequently asked questions were policy and 
procedure questions related to library 
accounts (n=32). An example of a typical 
question is “I’m not being allowed to charge 
out books. The library says I have an 
overdue recalled book, but the only recalled 
books I have aren’t due yet. Do you know 
why this is happening?”  
  
Status and location of users 
 
Information regarding the status of users 
was also collected, as users are asked to 
provide this when they log into the service. 
The following results include repeat users, 
as there was no way of separating out the 
results for unique users. As this field was 
not required,  14%  of respondents (n=86) 
provided no information. Of VR users who 
did respond, undergraduate students made 
up the largest percentage (47%, n=268), 
followed by graduate students at 17% (n=97). 
About 13% (n=74) of respondents identified 
themselves as not affiliated with the 
university, while only 5% (n=29) were 
faculty. Only one respondent self‐identified 
as a distance education student. 
 

 
In terms of physical location, approximately 
57% (n=336) of VR users were physically 
present in the library, while another 15% 
(n=89) were located somewhere else on 
campus and, 27% (n=159) were located off‐
campus.  
 
Language Used 
 
Following classification of the questions, the 
language or words within each question was 
then examined. The most frequently asked 
question on finding journal articles was 
asked over 100 times using 19 different 
variations of words!  Table 3 illustrates this 
by showing the number of different ways 
(and their occurrences) that students asked 
for journal articles. 
 
The majority of students asked for “articles” 
or “journals.” Sometimes they used the 
words “e‐journals” and “online journals,” or 
added the phrase “peer‐reviewed” or 
“research” to their requests. Out of all of the 
questions about “journal articles”, only one 
person used the word “periodical.” None of 
the students used either of the words  
 



Evidence Based Library and Information Practice 2007, 2:2 
 

 74

Librarian language  Student language 
Periodical  Journal 
Databases, indexes  Get an article! 
Faculty, faculty member  Prof, professor, teacher 
Catalogue  TRELLIS (name of library catalogue) 
Resources  Articles, books, Web sites 
Reference collection  Background information 
Citing (for a bibliography)  Referencing 
Interlibrary loan  Borrow from another library 
Stacks  Shelves 
 
Table 4. Variations in librarian and student language 
 
 
“index” or “database,” two words 
frequently used by librarians!   
 
Another example of student language was 
discovered in the words they use to define 
journal articles that are appropriate for a 
university paper. Half of the students who 
asked specifically about academic articles 
used the word “academic,” and half of them 
used the term “scholarly.” Similarly, 
librarians tend to use the word “faculty” 
when referring to the students’ instructors; 
students use the words “prof,” “professor” 
and “teacher,” but did not ever use the word 
“faculty.”  
 
The library catalogue provided another 
example. The library catalogue at the 
University of Guelph is called TRELLIS. 
Students asked for ‘the catalogue’ twice, but 
they asked for “TRELLIS” 30 times. 
However, there were many more questions 
about finding books, DVDS, archival 
materials, etc. in which students did not 
know where to start. For them, neither the 
term ʺTRELLISʺ nor ʺcatalogueʺ may be 
meaningful.  
 
Librarians often speak of “resources,” but 
students only used that word 11 times. They 
consistently asked for the product they were 
looking for  –  books, articles, or websites. 
The phrase ʺinterlibrary loanʺ was used only 

twice, but there were over 30 questions 
about the interlibrary loan service. Students 
tend to say “borrow from another library” 
or some variation of that, and may not easily 
understand the phrase “interlibrary loan.” 
Table 4 highlights the language used by 
librarians and the terms used by students to 
mean the same. 
 
Discussion 
 
Categorizing the questions confirmed 
anecdotal evidence of what librarians 
already know, or think they know, about the 
types of reference questions being asked. 
Staff members who work on virtual 
reference also help students at the 
traditional reference desk, and most were 
not particularly surprised by the results. 
Questions requiring students to find journal 
articles on a given topic are extremely 
common at the reference desk. Tracking the 
reference questions at the physical desk is 
difficult, however, as staff members do not 
have the time to write every question down 
and need to consider privacy issues. The VR 
transcripts therefore provide a written 
record of at least a part of the library’s 
reference services. This helps to confirm and 
better understand what our users are asking. 
  
The results of the transcript analysis should 
help librarians to better understand their 



Evidence Based Library and Information Practice 2007, 2:2 
 

 75

students and to develop a sense of needs 
that are not being met. Analysis of the 
transcripts demonstrates that students are 
primarily using the library’s virtual 
reference service for research assistance with 
tasks such as finding various sources of 
information on a topic and finding journal 
articles for course assignments. They are 
also asking for help with technical issues 
and with navigating the library Web site.  
 
The relatively small number of ready 
reference questions is not surprising in an 
academic environment, as the library’s 
mandate is to teach students how to 
understand and find information rather 
than to simply direct them to answers. Still, 
it is interesting to note that contrary to what 
many librarians originally expected of 
virtual reference, it appears that students are 
asking research questions in the online 
environment as opposed to simply using the 
tool to get quick answers to simple 
questions. The literature suggests that these 
results seem to be representative of the 
types of questions being asked at other 
libraries (Broughton 190‐192; Smyth 27‐28; 
Sears).  
 
The fact that only one user self‐identified as 
a distance education student is perhaps 
surprising, considering the large numbers of 
course enrollments in distance education 
courses, indicating a possible need for 
marketing and promotion to off‐campus 
students. Faculty (5% of users) may also 
benefit from marketing. Another related and 
unexpected result of this analysis revealed 
that close to 60% of VR users were 
physically present in the library and fewer 
than 30% were located off‐campus.  
 
This raises questions about why students 
were using VR when located in close 
proximity to a reference desk. Perhaps it is 
simply a preference for the online 
environment on the part of these individuals, 
yet there are a number of other possibilities 

to consider. Is there a problem with the 
physical layout of the reference area, 
making the desk difficult to identify? Are 
some students intimidated about asking a 
reference question and the desk? Are these 
issues related to signage? It should be noted 
that at the University of Guelph Library, the 
reference desk was named “research help 
desk.”  
 
The transcript analysis also confirmed that 
librarians and students sometimes have 
different goals and that they do not always 
speak the same language. Librarians focus 
on databases and indexes, and students 
focus on articles: one extrapolation from this 
finding is that students want, and ask for, a 
product — they want an article — rather 
than a tool or method, like a database or an 
index. Librarians tend to focus on the 
process and on teaching the students 
everything we think they should know 
about databases and indexes. Students’ 
focus is on getting the articles and the 
information they need to write a paper. In 
addition to this realization about what 
students really want, when student words 
and traditional librarian language were 
examined, it appeared that “librarian 
language” is often very different from 
“student language.” When designing Web 
sites, knowledge bases and other online 
tools and when teaching classes, librarians 
need to be aware that students may use 
different phrases for the same thing, and 
they may not understand an alternative 
phrase. Libraries may wish to examine how 
to move away from “librarian language,” or 
at least add in “student language,” in tools 
such as library Web sites. Student 
terminology could also be used when 
creating metadata for our knowledge base.  
 
The information gleaned from this type of 
study can be used to improve library 
services and access. By assessing the types 
of questions students are asking and 
examining the language they understand 



Evidence Based Library and Information Practice 2007, 2:2 
 

 76

and use, librarians can think about how this 
information can help libraries become more 
user‐friendly. With this in mind, the authors 
have identified five areas in which libraries 
can use this evidence to improve their 
services. In some cases, improvements have 
already been made, and in some cases, 
potential changes are suggested. 
 
1. Enhancing online services   
 
Library services are increasingly moving to 
a virtual environment and the Web site and 
online services are an essential means of 
communicating with users. It is therefore 
essential that these tools reflect and use 
language that users understand.  
 
The information gleaned from the 
transcripts has been used to improve the 
library Web site. As mentioned earlier, one 
of the most commonly recurring questions 
at the University of Guelph involved 
accessing electronic resources from off 
campus. Staff realized that the link to off‐
campus access login information was not 
prominently displayed on the library 
homepage, and a more noticeable link was 
added. Library Web sites are perhaps the 
most glaring example of poor 
communication between librarians and 
users. While many library homepages still 
use terms such as “journal indexes” or 
“databases” to direct users to these tools, 
our research indicated that few students use 
these terms, and few are likely to 
understand what they mean. To ensure that 
users make the connection between what 
they are looking for (journal articles) and the 
tools they must use to find them, library 
Web sites can use simple user‐friendly 
language such as “find journal articles.” The 
University of Guelph changed the wording 
of the “journal indexes” link to a prominent 
“journal articles” link, based on the 
knowledge that this is the term students use 
most frequently when they ask about 
finding articles.  

Changes to language and terminology could 
also be used to improve access to other 
online tools on the library Web site, such as 
tutorials, subject guides and also to develop 
a knowledge base that students can use to 
find answers to common questions. A 
knowledge base is a searchable database of 
frequently asked questions that users can 
use to get quick answers to their queries. 
Information about how students 
communicate with the library can be used to 
create a user‐friendly tool that users can 
interact with in their own language and that 
will respond to users in their own language. 
Many FAQ pages require students to know 
which words the library uses to find the 
response. For example, a student would 
have to know that a journal index must be 
used to find scholarly articles to find the 
relevant question on the FAQ page. Some 
knowledge bases created from VR 
transcripts simply take questions directly 
from transcripts and dump them into a 
database, which presents the same problem. 
Virtual reference transcripts allow librarians 
to create more student‐friendly knowledge 
bases and FAQ bases by presenting 
questions and answers that are easier to 
understand and by developing metadata 
based on the words students use in the 
transcripts. Rather than simply dumping 
questions from a VR software package into a 
knowledge base, it is possible to take a 
number of similar questions, edit them to 
make one question and response, and then 
attach metadata so that students can ask 
questions in their language and get a 
response. There are commercial tools on the 
market, developed for customer service 
purposes, which offer a great deal of 
customization, including editing questions 
and adding metadata to ensure that users 
can retrieve an answer using a variety of 
search words.  
   
2. Enhancing our relationships 
 



Evidence Based Library and Information Practice 2007, 2:2 
 

 77

Student questions on the VR prompted the 
creation of new tutorials in information 
literacy as students were perceived to be 
having difficulties. For example, the 
University of Guelph offers Geography 1220, 
a first‐year course on the impact of humans 
on the environment. The assignment for this 
course is complex and it was apparent from 
the VR questions that many students were 
not able to complete it without assistance. 
The Geography librarian created an online 
tutorial specifically for these students and 
this assignment, and alerted the faculty and 
Research Help Desk staff to this tutorial. A 
further example occurred when Sociology 
1100 students began using VR in large 
numbers. Their librarian intervened by 
offering drop‐in research clinics for these 
students. Once again, a need was identified 
from the VR transcripts and students took 
advantage of the service that was offered. 
Because of the number of general questions 
from undergraduate users (who comprise 
vast majority of Guelph’s VR users) 
initiatives were established to help them 
navigate the library. For example, students 
frequently came into the library and into VR 
to ask for help in differentiating between 
our main library building (McLaughlin), the 
Agricultural Economics building 
(MacLachlan), the Physics building 
(McNaughton), and the Arts building 
(MacKinnon). With so many similar Scottish 
building names, they were understandably 
confused!  To address such problems, one 
initiative involved locating a “welcome” 
table in the library foyer, staffed by friendly 
library staff, where pens and candy were 
handed out and students were helped with 
finding their way around the library and the 
campus.   
 
As Guelph’s VR numbers continue to rise 
and in‐person reference desk transactions 
decrease, the need to reach out to the 
students has become even more became 
apparent. In addition to offering VR and 
expanding it to include the student‐friendly 

MSN chat, a roving reference service has 
been implemented, in which staff are 
encouraged to get up from the desks and 
approach students with an offer of help. 
This service is being very slowly introduced 
at Guelph, but the need for it seems clear 
given the apparent reticence of so many 
students to approach a staff member at a 
desk. In conjunction with the introduction of 
a roving reference program, workshops on 
customer service have been held for all 
reference staff to ensure the best possible 
service is offered—whether in VR, roving, 
email, or traditional reference service. 
 
3. Enhancing our skills  
 
Another result of examining the student 
questions was the realization that some of 
them are very difficult for staff to answer!  
For example, questions related to GIS and 
government publications are often 
challenging for reference staff, and the VR 
transcripts proved that this is the case at 
Guelph. An awareness of staff difficulties 
can indicate a need for staff training. It may 
also indicate that some questions are too 
complex to answer in the confines of a VR 
session and that referrals to staff outside of 
VR should take place.  
 
4. Enhancing our collections 
 
VR transcripts have been used to help 
identify gaps in library collections and 
support acquisitions requests and decisions. 
For example, many of the questions related 
to difficulty in finding business journals and 
other resources, particularly those related to 
leadership. Enrollment in business‐related 
courses at Guelph has increased by 88% in 
recent years (University of Guelph College 
of Management & Economics, 2007). The 
questions indicated that Guelph’s library 
holdings had not kept up with the interest in 
business and commerce. The business 
librarians strongly recommended the 
purchase of many new resources related to 



Evidence Based Library and Information Practice 2007, 2:2 
 

 78

their subject area, supported by tangible 
evidence such as statistics from the VR 
questions in this subject area. With many 
different subject areas competing for limited 
acquisitions funding, it is useful to have 
tangible evidence to back up requests for 
new resources; VR questions and statistics 
can provide some of this evidence. 
 
VR questions can also illustrate which 
courses and assignments are creating 
problems for students. When many students 
in a particular course are asking questions in 
VR, it becomes apparent that there are 
library‐related problems or issues that need 
to be addressed. In some cases, students 
may benefit from a library instruction 
session to help them with their assignments. 
In others, assignments may contain 
inaccurate information about the library; for 
example, incorrect citations are sometimes 
supplied or references made in course 
outlines to materials not held by the library. 
If  students are having difficulties creating 
bibliographies, liaison librarians can help by 
contacting faculty and offering some library 
instruction, by ordering materials listed on 
course outlines that are not in the library 
collection, by letting faculty know about 
incorrect citations listed on assignments, or 
by altering reference staff to problems with 
assignments and course outlines. If it 
becomes apparent that students could 
benefit from a library service or tool, such as 
writing clinics, online tutorials, or RefWorks 
(bibliographic software) classes, faculty can 
be asked to let their students know about 
these offerings.  
 
5. Enhancing the library as place 
 
Library signs are important. As Jeannette 
Woodward notes, “Signs are an absolutely 
essential ingredient in your library’s success 
formula.” (118). Unfortunately, especially 
considering that libraries are in the business 
of information, signs are often inadequate:  
they may be unprofessional looking; 

sometimes there are too many; sometimes 
there are too few; sometimes they are 
confusing. Sometimes all of those 
descriptions apply. On Flickr, the photo‐
sharing website, there are groups devoted 
solely to library signs, many of them posted 
as an example of what not to do. (For 
example, see 
http://www.flickr.com/groups/librarysignag
e/). The VR transcript examination pointed 
out some of the gaps in Guelph’s library 
signage. For example, even though students 
were sitting at library computers a few feet 
away from the centralized printers, they 
could not figure out where they could print. 
When one actually looked around the 
library, existing signs were observed to be 
small and obscured, and some of printers 
had no signs at all!  Other directional 
questions being asked in VR point out other 
signage needs as well—to more effectively 
direct people to pencil sharpeners, 
photocopiers, and classrooms. 
 
One of the most important things learned 
from the VR project relates back to the 
discussion of language. Like many libraries, 
Guelph has always displayed signs reading 
“Periodicals” and “Indexes.” As discovered 
through the students’ questions, they don’t 
use those words; in fact, they may not 
understand what those words mean. It is 
time to change library signs, so that they 
reflect what users say and understand. Signs 
for “Periodicals” need to say “Journals!”   
 
Conclusion 
 
VR transcript analysis, particularly the 
examination of the questions and the words 
students use to ask them, has provided a 
tremendous amount of information and has 
led to a change in some aspects of library 
services at the University of Guelph. Future 
work could develop the analysis further to 
include an analysis and comparison of the 
more recently offered instant messaging 
(MSN) reference service. A comparison of 

http://www.flickr.com/groups/librarysignag


Evidence Based Library and Information Practice 2007, 2:2 
 

 79

the ways in which students use the two 
services, the language they use in each, and 
the effectiveness of each type of service may 
also provide information about how we can 
better meet the needs of our users. By 
reading students’ words, librarians are 
really trying to listen to what they are 
saying. 
 
Acknowledgement 
 
This article is based on a presentation from 
the “Computers in Libraries 2006” 
conference in Washington, D.C.  
 
The authors gratefully acknowledge the 
assistance of Caroline Stewart, formerly a 
co‐op student from the Faculty of 
Information & Media Studies, University of 
Western Ontario, and now a librarian at 
Seneca College.  
 
 
Works Cited 
 
Broughton, Kelly M. “Usage and User 

Analysis of a Real‐Time Digital 
Reference Service.” The Reference 
Librarian 79/80 (2003): 183‐200. 

 
Coffman, Steve. Going Live: Starting and 

Running a Virtual Reference Service. 
Chicago: American Library Association, 
2003.  

 
Curtis, Donnelyn and Araby Green. “A 

University‐Wide, Library‐Based Chat 
Service.” Reference Services Review 
32.3 (2004):  220‐33. 

 
Desai, Christina M. “Instant Messaging 

Reference: How Does It Compare?” 
Electronic Library 21.1 (2003): 21‐30.  

 
Diamond, Wendy, and Barbara Pease. 

“Digital Reference: A Case Study of 
Question Types in an Academic 

Library.” Reference Services Review 
29.3 (2001): 210‐219.  

 
Fagan Jody Condit, and Christina M. Desai. 

“Communication Strategies for Instant 
Messaging and Chat Reference 
Services.” The Reference Librarian 
79/80 (2003): 121‐55.  

 
Foley, Marianne. “Instant Messaging 

Reference in an Academic Library: A 
Case Study.” College and Research 
Libraries 63.1 (2002): 36‐45. 

 
Janes, Joseph. “Digital Reference for Teens.” 

Voice of Youth Advocates 25.6 (2003): 
451. 

 
Katz, William A. Introduction to Reference 

Work, volume 1: Basic Information 
Service. New York: McGraw‐Hill, 1997. 

 
Kenney, Brian. “Live, Digital Reference.” 

Library Journal 127.16 (2002): 46‐50.  
 
Kupersmith, John. Library Terms that Users 

Understand. 30 May 2007 
<http://www.jkup.net/terms.html>. 

 
Lee, Ian J. “Do Virtual Reference Librarians 

Dream of Digital Reference Questions?: 
A Qualitative and Quantitative 
Analysis of Email and Chat Reference.” 
Australian Academic and Research 
Libraries 35.2 (2004): 95‐110. 

 
Sears, JoAnn. “Chat Reference Service: An 

Analysis of One Semesterʹs Data.” 
Issues in Science & Technology 
Librarianship 32 (2001): 30 May 2007 
http://www.library.ucsb.edu/istl/01‐
fall/article2.html 

 
Smyth, Joanne. “Virtual Reference 

Transcript Analysis: A Few Models.” 
Searcher 11.3 (2003): 26‐30.  

 

http://www.jkup.net/terms.html
http://www.library.ucsb.edu/istl/01%E2%80%90fall/article2.html
http://www.library.ucsb.edu/istl/01%E2%80%90fall/article2.html


Evidence Based Library and Information Practice 2007, 2:2 
 

 80

University of Guelph. College of 
Management and Economics. 30 May 
2007 
http://www.uoguelph.ca/cme/current‐
students.cfm 

 
Walter, Virginia, and Cindy Mediavilla. 

“Teens are from Neptune, Librarians 
are from Pluto: An Analysis of Online 
Reference Transactions.” Library 
Trends 54.2 (2005): 209‐227. 

 
Ward, David. “Using Virtual Reference 

Transcripts for Staff Training.” 
Reference Services Review 31.1 (2003): 
46‐56. 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Woodward, Jeannette. Creating the 
Customer‐Driven Library: Building on 
the Bookstore Formula. Washington: 
American Library Association, 2004. 

 
Zhuo, Fu, Mark Love, and Scott Norwood. 

“Applying RUSA Guidelines in the 
Analysis of Chat Reference 
Transcripts.” College & Undergraduate 
Libraries 13.1 (2006): 75‐88. 

http://www.uoguelph.ca/cme/current%E2%80%90students.cfm
http://www.uoguelph.ca/cme/current%E2%80%90students.cfm
http://www.uoguelph.ca/cme/current%E2%80%90students.cfm