Microsoft Word - Abstracts.doc


Evidence Based Library and Information Practice 2007, 2:2 
 

 3

   Evidence Based Library and Information Practice  
 
 
 
Feature 
 
Abstracts of Papers and Poster Sessions of the 4th International Evidence Based 
Library and Information Practice Conference: Transforming the Profession 
 
Durham, North Carolina, United States 
6‐11 May 2007 
 
Reprinted with the permission of the conference organizing committee. 
 
 
 
Best Paper 

 Using rubrics to collect evidence for 
decision‐making: What do librarians need 
to learn? Megan Oakleaf, PhD, Syracuse 
University, United States. 

Papers Highly Commended 
1. The neglected voice: Is there a role for 

qualitative systematic reviews in 
EBLIP? Andrew Booth, MSc MCLIP, 
School of Health and Related Research 
(ScHARR), University of Sheffield, 
United Kingdom & Anne Brice, BA 
(Hons) DipLib MCLIP, University of 
Oxford, United Kingdom. 

 
2. Information skills training in health 

libraries: Are we any nearer the 
evidence? Alison Brettle, MSC, BA 
(Hons), University of Salford, United 
Kingdom.  

 
3. Implementing evidence‐based practice 

to enhance library web site usability: A 
case study at Northwestern University 
Library. H. Frank Cervone, MSEd, 
Northwestern University, United States.  

 

4. Best demonstration of the EBP model: 
Comparison of training interventions 
for PubMed search skills amongst 3rd 
and 4th year medical students. Glenda 
Myers, D Litt et Phil, Witwatersrand 
Health Sciences Library, University of 
the Witwatersrand, South Africa. 

 
5. Finding our foundation: analysis of the 

LISA database for research 
retrievability. Carol Perryman, MS LIS, 
Research Fellow, School of Information 
& Library Science (SILS) University of 
North Carolina, United States. 

 
Best Poster 

 Assessing the need to update 
prevention guidelines: A comparison of 
two methods. Gerald Gartlehner, MD, MPH, 
Suzanne L. West, MD, MPH, Kathleen N. 
Lohr, PhD, MPhil, MA, Leila Kahwati, MD, 
MPH, Jana G. Johnson, MD, Russell P. 
Harris, MD, MPH, Lynn Whitener, MSLS, 
DrPH, Christiane E. Voisin, MLIS, & Sonya 
Sutton, BSPH, UNC Cecil G. Sheps Center 
for Health Services Research, United States. 
 



Evidence Based Library and Information Practice 2007, 2:2 
 

 4

Posters Highly Commended 
1. Testing a new approach to the manual 

literature search process in systematic 
reviews. Laura C. Morgan, BA, Gerald 
Gartlehner, MD, MPH, Dan Jonas, MD, 
Curtis Bryant, & Claire de la Varre, 
MSIS, UNC Cecil G. Sheps Center for 
Health Services Research, United States. 

 
2. Supporting evidence‐based medicine 

in an academic health system: A 
unique partnership between the Center 
for Evidence‐based Practice and the 
Biomedical Library. Gretchen Kuntz, 
MSW, MSLIS, Clinical Liaison Librarian, 
Biomedical Library, Anne Seymour, 
Interim Director, Health Sciences 
Libraries, Craig A. Umscheid MD, Co‐
Director, Center for Evidenced‐based 
Practice, & Kendal Williams MD, 
Director, Center for Evidence‐based 
Practice, University of Pennsylvania 
Health System, United States. 

 
3. A place for us: The relevancy of the 

academic library “as a place.” Jason 
Martin, MLS, Ed.D in progress, 
University of Central Florida Libraries, 
United States.  

 
4. Is “Igaku Toshokan” providing the 

evidence to help medical librarians 
with decision‐making? Yukiko Sakai, 
MSIS, Keio University & Yasuhiko 
Kiyama, Juntendo University Library, 
Tokyo, Japan. 

 
 
Presentation types 
 
Contributed papers include both original 
research and innovative applications of 
EBLIP in library and information 
management. Papers that deal with library 
support of evidence‐based practice in other 
fields such as health, social work and public 
policy were also welcome. Accepted 
Research Papers are published on the 

conference website at 
http://www.eblip4.unc.edu. 
 
Posters will allow for the presentation of 
new developments in evidence‐based 
practice and work in progress. Posters offer 
an excellent opportunity for new conference 
presenters. Accepted Poster abstracts are 
available on the conference website at 
http://www.eblip4.unc.edu. 
 
 
Legend: 
 

   Research Paper  

   Keynote 

   Award‐winning paper or poster 
 
 
Speaker abstracts 
 

 LibQUAL+ ™ and the evolution of 
“library as place” at Radford University. 
Eric Ackermann, MSIS, McConnell Library, 
Radford University, United States. 
 
Objective: To determine if the LibQUAL+ ™ 
survey captured any changes in user 
satisfaction with the “Library As Place” due 
to alterations made to McConnell Library 
between 2002 and 2005. 
Design: Effect size meta‐analysis of the 
adequacy gap scores data from four aspects 
of the Library as Place dimension from the 
2002, 2005, and 2006 LibQUAL+ ™ surveys. 
Setting: McConnell Library, the academic 
library serving Radford University, a 
medium sized (c. 9300 students), four‐year, 
primarily residential public university 
located in Southwestern Virginia. 
Participants: Using a sample of the whole, 
undergraduates (n = 570), graduate students 
(n = 172), and faculty (n = 192) who 
completed the 2002 LibQUAL+ ™ survey; 
the undergraduate (n = 1237) and graduate 

http://www.eblip4.unc.edu
http://www.eblip4.unc.edu


Evidence Based Library and Information Practice 2007, 2:2 
 

 5

students (n = 232) who completed the 2005 
LibQUAL+ ™ survey, and the faculty (n = 
162) who completed the 2006 LibQUAL+ ™ 
survey. 
Intervention: Increased the hours of 
operation, created a designated quiet study 
area, upgraded computer hardware and 
software, provided more comfortable 
furniture, and added more public access 
computers. 
Main Outcomes Measures: For each 
participant group, the mean adequacy gap 
(i.e., difference or “gap” between the 
perceived and minimal acceptable levels of 
user satisfaction) for the library as a quiet 
study place (Quiet Study), a haven/getaway 
(Haven), a comfortable place (Comfortable), 
and a contemplative environment 
(Contemplative). The metrics used were 
Cohen’s d (standardized mean difference), 
95% confidence intervals (95% CI), Binomial 
Effect Size Display (BESD, or the d statistic 
represented as a percent success rate 
differential), and the resulting change (if any) 
in the adequacy gap (AG). A positive result 
indicates an improvement in user 
satisfaction, a negative result, the opposite. 
Main Results: Overall the response to the 
changes in the Library as Place between 
2002 and 2005/2006 were positive (d = 0.10, 
95% CI [‐0.10, 0.30], BESD = 4.9%, AG = 0.19), 
more so for the graduate students (d = 0.13, 
95% CI [‐0.01, 0.26], BESD = 6.4%, AG = 0.26) 
than the undergraduates (d = 0.10, 95% CI [‐
0.11, 0.31], BESD = 5.1%, AG = 0.20), or the 
faculty (d = 0.05, 95% CI [‐0.09, 0.18], BESD = 
2.4%, AG = 0.09). 
The changes affected the overall perception 
of the library as Haven the most (d = 0.24, 
95% CI [0.05, 0.44], BESD = 12.1%, AG = 0.51), 
followed by Quiet Study (d = 0.06, 95% CI 
[0.03, 0.09], BESD = 3.0%, AG = 0.12), 
Comfortable (d = 0.06, 95% CI [‐0.01, 0.14], 
BESD = 3.1%, AG = 0.12), and the 
Contemplative (d = 0.03, 95% CI [‐0.10, 0.30], 
BESD = 1.6%, AG = 0.06) aspects. 
Conclusion: The LibQUAL+ ™ adequacy 
gap data captured the changes in users 

satisfaction related to changes in “Library as 
Place,” and will be used in future 
assessments. Future research needs to 
determine if the changes in user satisfaction 
reflect a change in users’ perceptions or a 
change in users’ minimum expectations, 
both components of the adequacy gap, or 
both. 
 
 

 EBLIP: Clear, simple – and wrong? A 
friendly debate. Andrew Booth, School of 
Health & Related Research (ScHARR), 
University of Sheffield, United Kingdom & 
T. Scott Plutchak, Director, Lister Hill 
Library of the Health Sciences, University of 
Alabama, United States. 
 
The theory of evidence‐based library and 
information practice (EBLIP) has made great 
strides over the past decade. During this 
time, much attention has been paid to levels 
of evidence and the importance of getting 
the question right – that is, phrasing the 
question in a way that it is amenable to 
evaluation by reliable evidence. Indeed 
asking questions and locating answers are 
key competencies for the library and 
information profession. This session will 
explore the degree to which the “big” 
questions that face our profession can be 
structured in such a way as to meet the tests 
of EBLIP. In other words, can the EBLIP 
approach be used for all of the questions our 
profession faces, or only for some narrowly 
defined subset? 
 
 

 The neglected voice?: Is there a 
role for qualitative systematic reviews in 
EBLIP? Andrew Booth, MSc MCLIP, School 
of Health and Related Research (ScHARR), 
University of Sheffield & Anne Brice, BA 
(Hons) DipLib MCLIP, University of Oxford, 
United Kingdom. 
 



Evidence Based Library and Information Practice 2007, 2:2 
 

 6

Question: Do systematic reviews of 
qualitative research offer a useful way 
forward for synthesis of library and 
information science (LIS) literature? 
Background: Over the last decade 
systematic reviews of effectiveness have 
become an established methodology in 
pursuit of evidence based practice. Recent 
years have seen the adoption of such 
methodologies within evidence based 
library and information practice (EBLIP). 
Nevertheless systematic reviews of 
quantitative evidence within the LIS 
literature carry acknowledged difficulties. 
These include a shortage of rigorous 
comparative studies, poor quality of 
reporting and the inconclusiveness of results 
(Lerdal). EBLIP “attempts to integrate user‐
reported, practitioner observed and 
research‐derived evidence as an explicit 
basis for decision‐making” (Booth). 
Individual surveys of library staff or users, 
or other investigative methods such as 
interviews and focus groups, may provide 
useful local operational data but offer little 
in the way of reproducible insights. 
Systematic analysis of the reports of users or 
the observations of practitioners, as 
recorded in the research literature, offers the 
potential of holistic insights into the delivery 
of information services. In the absence of 
compelling evidence on effectiveness, 
research on acceptability of services and 
preferences of service users may enable 
practitioners to tailor their services more 
appropriately. 
Additionally insights from qualitative 
research conducted with information staff 
and then systematically synthesized and 
analysed may assist in identifying 
environmental or psychological barriers to 
delivery of specific services. Systematic 
reviews of qualitative research (qualitative 
metasyntheses) are increasingly being 
recognised for their potential contribution to 
an understanding of public service delivery 
and user views (Oliver). They also have 
great explanatory potential where 

interventions do not prove as effective as 
expected or where implementation proves 
particularly problematic. Do such reviews 
offer similar potential within delivery of 
library and information services? 
Methods: As co‐convenor of the Cochrane 
Collaboration’s Qualitative Research 
Methods Group the principal author has 
been systematically collecting and reviewing 
methodological literature on the conduct of 
qualitative metasyntheses. This has also 
involved identification and collection of 
examples of such reviews within healthcare. 
Furthermore the principal author has been 
developing a prototypic taxonomy of the 
types of question that such reviews address. 
In addition both authors have been working 
together on a qualitative metasynthesis in a 
library and information topic to explore 
potential applications for such methods. 
Main results: Potential applications for 
qualitative metasynthesis within LIS include 
barriers and facilitators to delivery and 
uptake of services, exploration of user views, 
investigation of new roles and prioritisation 
of services where evidence on effectiveness 
is equivocal. These and other applications 
will be illustrated with examples from 
within LIS literature. 
Conclusion: This, the first presentation to 
systematically examine the potential of 
qualitative metasynthesis within LIS, will 
provide the audience with a methodological 
toolbox with which to explore the views and 
attitudes of library users and information 
staff. It is hoped that encouraging 
exploration of questions that lie beyond 
effectiveness will stimulate further 
development of the LIS evidence base to 
answer the more 
enduring questions faced by library 
practitioners. 
 
 

 Information skills training in 
health libraries: Are we any nearer the 



Evidence Based Library and Information Practice 2007, 2:2 
 

 7

evidence? Alison Brettle, MSC, BA (Hons), 
University of Salford, United Kingdom. 
 
Introduction: For some time health 
librarians have been wondering whether the 
training they provide is effective (Eldredge, 
2001) and two systematic reviews have 
attempted to find answers (Brettle, 2003; 
Garg and Turtle, 2003). Both reviews 
concluded that there was only limited 
evidence (based on weak research studies) 
that training improves search skills, there 
was no evidence about different types of 
training and nor was there any evidence of 
the impact of training on patient care. A 
further conclusion (Brettle, 2003) was that 
until objective and validated measures of 
evaluating training were used, it would be 
impossible to determine whether training 
was effective. More recently Australian 
librarians were still asking questions 
regarding the effectiveness of training 
clinicians to perform literature searches 
(Lewis and Cotter, 2006). This presentation 
updates a systematic review presented at 
the first EBL conference in 2001 and 
questions whether, at EBLIP4, we are any 
nearer to finding evidence to aid health 
librarians in their practice? 
Question: To examine whether training 
improves searching skills; to identify 
effective methods of training; to examine 
whether training effects patient care; to 
determine the availability/use of objective 
and validated outcome measures. 
Data sources: Searches of ERIC, LISA, 
MEDLINE, CINAHL, personal collection of 
material, handsearch of Journal of Medical 
Library Association, Health Information and 
Libraries Journal and Evidence Based 
Library and Information Practice  
Study selection: Studies had to meet all the 
following criteria to be included in the 
updated review: Studies published post 
2001 (cut off date for previous systematic 
review); health related (i.e. study on trainee 
or qualified clinicians in either academic or 
clinical setting); study examining 

information skills training (defined as: 
training that included searching electronic 
databases such as Medline, searching the 
Internet, finding information for patient care 
or searching for information in relation to 
evidence based practice); any research 
design using an objective outcome measure 
(i.e. one that measures change in 
knowledge/skills) 
Data Extraction: Data was extracted by the 
author using a tool adapted for the purposes 
of the study. This was based on tools 
developed by the University of Salford 
(HCPRDU, 2003) for critically appraising 
different types of research evidence and the 
ReLIANT data extraction tool 
(Koufogiannakis et al, 2006). 
Conclusion: The conclusions of the review 
will provide more recent evidence on the 
effectiveness of information skills training in 
a health context. The author will reflect on 
any changing patterns and quality of 
research in this field and suggest how health 
librarians can improve their evidence base. 
 
 

 Transforming the evidence base for 
high quality, effective academic health 
sciences library services and resources: The 
readiness of the library director 
community in the US and Canada.  Gary D. 
Byrd, PhD, University at Buffalo (SUNY) & 
Steven J. Squires, MLS, University of North 
Carolina at Chapel Hill, United States. 
 
Question: Should academic health sciences 
libraries transform the evidence base for the 
quality and effectiveness of their services 
and resources from traditional measures of 
inputs and outputs to measures of outcomes, 
and are they prepared for such a transition? 
Design: This study will report the results of 
a Web‐based survey of US and Canadian 
academic health sciences library directors. 
The survey questions will be pre‐tested for 
clarity and content validity by senior staff at 
the authors’ libraries. The number of 



Evidence Based Library and Information Practice 2007, 2:2 
 

 8

questions will be limited to those that can be 
completed within 30 minutes. Invitations to 
participate will be sent to library directors in 
the US and Canada by email, with email and 
telephone reminders as necessary.  
Setting: The study will be conducted in 
February 2007 by the authors (the chair and 
one of the members of the Association of 
Academic Health Sciences Libraries 
(AAHSL) Assessment and Statistics 
Committee) using a Web‐based survey tool.  
Participants: The survey will include all 
directors of academic health sciences 
libraries in the US and Canada (about 160 
individuals). Demographic data about the 
directors including age, years of experience, 
and sex as well as data about the size and 
resources of the library will also be collected 
from respondents.  
Intervention: The survey questions will ask 
these library directors to give their current, 
considered opinions about the need, 
appropriateness and urgency to move away 
from, or to supplement, traditional 
measures of the size and scope of library 
collections, expenditures, personnel, and use 
of library services as collected in the annual 
surveys of associations like the Association 
of Academic Health Sciences Libraries 
(AAHSL) and the Association of Research 
Libraries (ARL). Are they and their host 
institution ready and willing to collect the 
kind of data needed to measure outcomes 
such as the cost effectiveness and quality of 
library resources and services in support of 
the goals of the academic and research 
community they serve? The survey will also 
ask about the availability of “measures of 
excellence” from their host institution (such 
as those collected since 2003 at the 
University of North Carolina at Chapel Hill) 
for analysis and correlation with library 
outcomes measures, and the extent to which 
each library is already attempting to collect 
its own outcome measures.  
Main Outcome Measures: The paper will 
present a descriptive analysis of the survey 
results showing the range and distribution 

of responses to each question, for all 
respondents and demographic subgroups. 
As appropriate, simple statistical 
correlations will show the relationship 
between the responses to groups of 
questions.  
Main Results: We hypothesize that most 
library directors will agree that additional 
outcome measures are needed to 
demonstrate the cost effectiveness and 
quality of library resources and services. 
However, we also hypothesize that few 
directors will demonstrate a readiness and 
willingness to begin collecting the data 
needed for these measures. Conclusion: The 
transformative potential of outcome 
measures of excellence has been argued by 
health sciences library leaders since at least 
1986 when Virginia Holtz gave her Janet 
Doe Lecture on this topic at the Medical 
Library Association Annual Meeting [JMLA 
74(4):305‐14]. We hope the results of this 
study will help to stimulate concrete action. 
 
 

 Implementing evidence‐based 
practice to enhance library web site 
usability: A case study at Northwestern 
University Library.  H. Frank Cervone, 
MSEd, Northwestern University, United 
States. 
 
This paper examines the implementation of 
evidence‐based practice within the Web 
Advisory Group at the Northwestern 
University Library. Through this 
examination, some implications are 
developed for the role of evidence‐based 
practice in academic library web site design.  
Objective: In many libraries, web site 
design is informed more by opinion rather 
than evidence. A critical question for 
libraries then is how to move from an 
opinion‐based design process to one that is 
based on sound principles of evidence‐
based practice. Methods: Following an 
examination of the background of evidence‐



Evidence Based Library and Information Practice 2007, 2:2 
 

 9

based practice and its applicability to the 
web site design and implementation 
processes, the paper examines the 
application of evidence‐based practice in 
one particular setting: a large ARL library 
serving a diverse population of 
approximately 20,000 users.  
Results: While implementation of evidence‐
based practice within the Web Advisory 
Group has been successful, the 
implementation pathway has not been 
without problems and challenges. A 
remaining question is how to most 
effectively move evidence‐based practice 
out of this small group and into other areas 
of the Library.  
Conclusions: Using evidence‐based practice 
in web site design can make a significant 
difference in the effectiveness of the web site 
design process. By evaluating the outcomes 
of the implementation within the web 
design group, some conclusions on how to 
engage staff throughout the library in 
evidence‐based practice have been 
developed.  
 
 

 Evidence and E‐government. Rowena 
Cullen, Associate Professor, School of 
Information Management, Victoria 
University of Wellington, New Zealand. 
 
The use of online technology in government 
has occurred very rapidly, driven by the 
ongoing development of IT, by citizens’ 
expectations, and by the desire of politicians 
to be ‘leaders’ in e‐government. In this rapid 
transition, the concepts of measurement and 
evaluation have lagged behind. Some of the 
important questions that need to be 
addressed include: How can the 
effectiveness of e‐government systems and 
services be measured? On what basis should 
decisions about future IT developments, and 
redevelopments be made? What is the role 
of evidence in e‐government decision‐
making? What data 

and methodologies would provide this 
evidence? What can our experience with 
evidence‐based library and information 
practice offer to improve e‐government 
decision making and information 
management? 
 
 

 Preparing for a slimmer bottom line: 
Analyzing and reducing a serials collection 
using a mixed methods approach.  Lori 
Delaney, MLIS, Carolina Population Center 
Library, University of North Carolina at 
Chapel Hill, United States. 
 
Objective: The purpose of this study is to 
conduct a comprehensive evaluation of a 
serials collection to make evidence based 
decisions during an annual subscription 
renewal process. Using both quantitative 
and qualitative data collection and analysis 
methods, this study features an evaluation 
of the collection title‐by‐title and results in 
subscription costs that are 45% lower than 
the previous year, while also aiming to 
provide a relevant specialized serials 
collection.  
Context: The Carolina Population Center 
(CPC) Library is a special library at the 
University of North Carolina at Chapel Hill 
(UNC), which primarily serves CPC 
researchers, and also serves the University 
community and the public. The CPC Library 
houses a collection of materials which 
support a broad range of population 
research. Because the CPC Library is solely 
funded by the Center, and is a not a 
departmental library of the UNC system, 
collection development administration is the 
responsibility of CPC Library staff, and costs 
for the serials collection are paid by the CPC 
Library. A thorough evaluation of the CPC 
Library serials collection is necessitated by a 
drastically reduced budget allocation. A 
review of the serials print collection is also 
long overdue due to CPC’s evolving 
research portfolio as well as the increase in 



Evidence Based Library and Information Practice 2007, 2:2 
 

 10

electronically available content via the UNC 
Libraries databases. The CPC Library uses a 
subscription services agency to manage 
print subscriptions to 90 titles. Some titles 
are unique holdings on the UNC campus, 
while other titles are also held by other 
campus libraries. Duplication of titles is 
suitable when the content is highly relevant 
to population research. Methods and 
analysis: This study utilizes a mixed 
methods approach, in a sequential 
triangulation process. First, a review of the 
existing literature is conducted to determine 
common criteria used to inform decision‐
making about serials renewals and 
cancellations. Quantitative data is derived 
from multiple sources: cost per title 
(previous year, current year, and rate of 
increase between the two years), usage 
statistics, availability in print from other 
UNC Libraries, and electronic availability 
via campus library databases or a 
publisher’s website. In addition, data is 
compiled on the number of articles written 
by CPC researchers in each serial during the 
previous three years. These data are 
assembled in an Excel spreadsheet, and then 
analyzed. A collaborative review is 
conducted by the two CPC Librarians and a 
proposal is developed listing which titles to 
renew and which to cancel, with a detailed 
breakdown of the financial implications. 
Qualitative data is obtained from the 
Center’s director, deputy director, and the 
Center’s advisory council, resulting in a 
revised proposal. The revised proposal is 
then distributed to CPC researchers and 
staff with a request for further input.  
Results and conclusions: Data analysis 
results in a final decision of titles to renew 
and to cancel, with a cost savings of 45%. 
The instrument developed for the study and 
the data collected can be utilized in future 
years’ analysis. Staff of specialized libraries 
can utilize the data collection and analysis 
methods for use in evaluating their own 
serials collections. 
 

 Assessment, evaluation, and value: 
Current trends. Rosalind F. Dudden, MLS, 
DM/AHIP, FMLA, Tucker Medical Library, 
National Jewish Medical and Research 
Center, United States.  

The field of library evaluation studies and 
evidence‐based practice are linked together 
with a common goal, managing an effective 
library. The resources of a library to do 
studies vary greatly by size and type of 
library. This paper presents an overview of 
resources and ideas uncovered during two 
years of study of the field of library 
evaluation with the goal of making it 
understandable and useful to the librarian in 
a small setting. Measuring all parts of the 
management continuum: needs, inputs, 
quality processes, outputs, quality service, 
outcomes, and impacts, is encouraged to 
manage the smaller library by adapting the 
philosophy of a culture of assessment now 
being developed by ARL. Resources for 
learning about outcomes measurement are 
available on the web and can by adapted to 
any setting. The purpose of these 
assessments is multidimensional with the 
goal of improving economy, efficiency and 
effectiveness. If done in a systematic way, 
the results of local assessments, combined 
with published studies, can show the value 
of library services. To communicate this 
value, librarians are encouraged to  

• Understand the goals and values of 
the organization and the library 

• Understand the user by being 
customer focused and assessing 
needs 

• Establish a culture of assessment 
• Use a variety of measures, both old 

and new 
• Use outcomes to tell your story 

 
 
 



Evidence Based Library and Information Practice 2007, 2:2 
 

 11

 Cognitive biases as obstacles to 
effective decision making in EBLIP.  
Jonathan Eldredge, MLS, PhD, University of 
New Mexico Health Sciences Library and 
Informatics Center, United States.  
Objective:  EBLIP advocates have explored 
in published reports the first three steps of 
the EBLIP process in considerable detail. In 
contrast, not much attention has been paid 
to exploring the fourth decision making 
step, particularly on the kinds of obstacles 
that can thwart the EBL process in 
producing an appropriate decision. 
Cognitive biases potentially can interfere in 
this fourth step for decision makers by 
either causing misperceptions about their 
environments or by hindering their 
performing effective analyses. This 
exploratory research paper describes a 
survey on those cognitive biases reported as 
commonly occurring in library and 
information practice decision making. 
Respondents were self‐selecting members of 
the (US) Medical Library Association.  
Methods:  Narrative Review. The author used 
a list of cognitive biases in the Wikipedia on 
January 8, 2007 to determine initially what 
forms of cognitive biases might be most 
relevant to decision making in our field. The 
author then conducted a literature review 
on the relevant social psychology research to 
identify approximately twenty forms of 
cognitive bias that might affect decision 
making processes. This social psychology 
literature on cognitive biases consists 
primarily of experimental study designs. 
While reviewing this area of the social 
psychology literature the author also noted 
any discussions that offered strategies for 
overcoming or at least neutralizing the 
effects of specific forms of cognitive bias. 
The author shared this list of definitions 
with colleagues for their input on its clarity 
and comprehensiveness. One colleague 
suggested the addition of a new form, 
Worst‐Case Scenario, while others offered 
editing suggestions for the definitions.  

Descriptive Survey. The author obtained 
human subjects research approval from his 
institutional review board on April 2, 2007. 
Beginning on April 12th, the author 
publicized the survey on listservs of three 
MLA sections to which he belonged: 
Research, Public Health/Health 
Administration, and Collection 
Development. He repeated this publicity on 
April 19th and 26th. He also publicized the 
survey in the April 19, 2007 issue of the 
online newsletter MLA‐Focus. Interested 
MLA members could click on a link in the 
publicity email or online newsletter text to a 
survey on a server run with OpinioR 
software. Following a screen that provided 
their consent, survey participants reviewed 
a list of nineteen forms of cognitive bias 
with accompanying brief definitions of each 
form. The next screen had an identical list 
with definitions, except that respondents on 
the actual survey were asked to indicate the 
top three (3) forms of cognitive bias that 
they had observed by librarian colleagues 
during group decision making processes. 
Respondents were then asked to categorize 
themselves by broad job descriptions, 
library types, and their geographic MLA 
chapters. When field tested, the survey took 
about five minutes to complete. The 
cognitive biases list in the survey included 
the following forms, with definitions:  
Anchoring 
Attribution 
Authority 
Confirmation 
Déformation Professionnelle 
Expectancy Effect 
Groupthink 
Halo or Horns Effect 
Naïve Realism 
Outcome Bias 
Perseverance of Belief 
Positive Outcome 
Primacy Effects 
Question Framing 
Recency Effects 
Selective Perception 



Evidence Based Library and Information Practice 2007, 2:2 
 

 12

Status Quo 
Stereotype 
Storytelling 
Wishful Thinking 
Worst‐Case Scenario  
Results: 135 MLA members completed the 
survey during the survey period of April 12 
through May 2, 2007. The seven most 
frequently mentioned cognitive biases in 
decision making appear here in descending 
order:  
Déformation Professionnelle 
Status Quo 
Authority 
Anchoring 
Groupthink 
Halo or Horns Effect 
Confirmation  
 
79 of the 135 respondents provided text 
examples from their experiences or made 
comments. Many of these 79 respondents 
made normative comments, almost all of 
them negative, about instances when 
colleagues succumbed to cognitive biases. 
The author was troubled by these negative 
comments that mainly cast blame on others’ 
personal failings because he had 
emphasized in both the survey publicity and 
in the instrument itself that cognitive biases 
are common human characteristics. These 
comments underscore the need to educate 
members of our profession about cognitive 
biases.  
Conclusions: The author plans to publish 
the results of this exploratory research study 
to raise awareness within our profession 
about cognitive biases in decision making 
processes. In addition, the author intends to 
design an MLA continuing education course 
that offers a sympathetic view of cognitive 
biases as common human foibles and that 
emphasizes the use of certain strategies to 
overcome or neutralize the effects of certain 
forms of cognitive biases.  
 

 Evidence based management as a tool 
for special libraries.  Bill Fisher, School of 
Library & Information Science, San Jose 
State University, &  W. Davenport (Dav) 
Robertson, MSLIS, National Institute of 
Environmental Health Sciences, United 
States.  
 
Question: Is evidence‐based management 
an effective tool for use in the special library 
environment?  
Data Sources: The general management 
literature of the past six years, as well as the 
established evidence‐based management 
literature will be reviewed. The 
library/information science literature of the 
past six years will then be reviewed. Search 
methods will include major 
business/management databases, major 
library/ information science databases, 
relevant web sites, blogs and wikis, citation 
searching on key articles and follow‐up on 
references cited in the studies found.  
Study Selection: Included management 
studies will discuss the major issues where 
evidence‐based management has been 
applied. Included library and information 
science studies will discuss management‐
related issues in special libraries.  
Data Extraction: Relevant data and key 
issues will be identified from the literature 
independently by the two researchers using 
a pre‐determined extraction form.  
Main Results*: The major issues in special 
library management are compared to the 
major issues in evidence‐based management. 
Also, the relevance to special libraries of 
other evidence‐based management issues is 
discussed.  
Conclusion*: The results of this study show 
the potential for applying evidence‐based 
management to special libraries. Questions 
to be used in further research on evidence‐
based management in special libraries are 
recommended. *These sections currently 
provide the anticipated results/ conclusion 
since the study is in progress. When the 



Evidence Based Library and Information Practice 2007, 2:2 
 

 13

study has been completed, specific issues 
will be identified in the main results and the 
specific questions will be identified in the 
conclusion.  
 
 

 Results of participant observation in 
the fifth judicial district: Customizing the 
county law library to meet the needs of 
small firm attorneys in rural Kansas.  
Susan G. Fowler, MLS, CLIM, Lyon County 
Law Library, United States. 
 
A participant observation study was 
conducted in the fall of 2005 to identify how 
attorneys in the Fifth Judicial District of 
Kansas access and use legal information. 
The goal was to obtain information that 
would be used to customize services at the 
Lyon County Law Library, which had been 
re‐established in 2003 following three years 
of dormancy due to new courthouse 
construction. While the basic legal reference 
materials had been obtained, a better 
understanding of how attorneys in the Fifth 
Judicial District access and use information 
was needed for continual library 
improvement. Since we were looking at how 
attorneys access and use information, the 
qualitative methodology of participant 
observation was chosen to gather data. 
Fortunately, the information profession has 
largely validated qualitative methodologies 
(e.g., action research, field methods, 
participant observation) to answer questions 
regarding information seeking and using 
habits. We know that circulation statistics 
alone cannot tell the story of what users are 
looking for, whether they find it and 
whether it matches their information need. 
We also know that to ask people how they 
look for information (whether by interview 
or survey) is to depend on an “in the 
moment” answer, which may be unduly 
influenced by that moment’s context or 
suffer from memory gaps. Six attorneys 
(13% of the law library’s membership) were 

observed for two days each. Each day’s 
notes were coded and analyzed for patterns.  
In addition, commonalities were noted 
across the types of practice and 
demographics (i.e., rural vs. frontier) in 
accordance with naturalistic inquiry 
protocol. The subjects’ environment is one of 
many factors that influence the practice of 
law. Factors such as population density, 
office décor and dress, support staffing and 
client relations were noted. Participating 
attorneys answered questions and 
confirmed or corrected the researcher’s 
impressions during follow‐up conversations. 
In 2006, findings from this study were 
applied to customize the resources and 
services of the Lyon County Law Library. 
This research is being applied through the 
acquisition of materials pertinent to the 
scope of legal work in this area, providing 
“ready reference” through instant 
messaging (IM) and email, increasing access 
to research materials by providing online 
database training and expanding the online 
database collection, and providing a state‐
approved CLE on electronic data 
management as it pertains to changes to the 
Federal Rules of Civil Procedure. The Lyon 
County Law Library has received very 
favorable feedback, which has us committed 
to continuing research and subsequent 
development of services customized to the 
legal community of the Fifth Judicial District. 
 
 

 Evidence‐based Practice in Other Fields: 
Social Work. Mark Fraser, MSW, PhD, 
School of Social Work, University of North 
Carolina at Chapel Hill, United States. 
 
The purpose of this presentation is to 
describe the impact of evidence‐based 
practice in social work. Emphasis is placed 
on a process of using evidence to develop 
more effective social work programs. In 
addition, challenges in translating and 



Evidence Based Library and Information Practice 2007, 2:2 
 

 14

infusing research evidence into practice will 
be discussed. 
 
 

 Progress towards a ‘one‐stop‐shop’ 
for critically appraised methodological 
search filters: The InterTASC information 
specialists’ sub‐group search filters 
resource.  Julie Glanville, MSc, Centre for 
Reviews and Dissemination, Carol LeFebvre, 
MSc, UK Cochrane Centre, & UK InterTASC 
Information Specialists’ Subgroup Project, 
United Kingdom. 
 
Objective: to develop and make publicly 
accessible a web site of critically‐appraised 
methodological search filters.  
Participants: members of the UK InterTASC 
Information Specialists’ Sub‐Group (ISSG), 
who provide information specialist input for 
health technology assessments (HTAs) 
undertaken on behalf of the UK National 
Institute for Health and Clinical Excellence 
(NICE).  
Project details: a web site of methodological 
search filters has recently been launched 
(http://www.york.ac.uk/inst/crd/intertasc/). 
The first phase of the project has been to 
identify and list references to published and 
details of unpublished methodological 
filters. This process is ongoing and the 
website is regularly updated. The site 
currently includes references to filters for 
studies with a specific focus such as 
diagnosis, economic evaluation, prognosis 
and therapy. It also includes filters for 
specific study designs, such as the recently 
published CRD / Cochrane Highly Sensitive 
Search Strategy for identifying randomized 
controlled trials in MEDLINE, designed by 
the Centre for Reviews and Dissemination 
and UK Cochrane Centre Search Filters 
Design Group. The second phase of the 
project is to critically appraise these filters 
and post the appraisals on the web site. 
Guidelines for the critical appraisal have 
been drafted and piloted by the ISSG and a 

final draft is in preparation. The final stage 
of the project is to test out the filters in a 
range of independent settings. This will be 
achieved initially by asking collaborators to 
use the included studies of completed HTAs 
and systematic reviews as gold standards 
against which to test the performance of 
individual search filters. The site will 
publish these data to allow comparisons 
with respect to the sensitivity and precision 
data published by the original authors.  
Conclusion: the first phase of the project has 
resulted in a bibliography of known filters 
and thus provided a ’one‐stop shop’ for 
information specialists, reviewers and other 
researchers looking for methodological 
filters in the context of HTAs, systematic 
reviews and other research. The second 
phase of the project will enable users of the 
site to assess the rigour of the individual 
filters on the basis of the filter design 
method through the linked critical 
appraisals and thus select and use filters 
which are evidence‐based in their design 
rather than those that are of a pragmatic or‚ 
`expert‐opinion’ design, where alternatives 
exists. The critical appraisals will also allow 
identification of gaps in search filter design 
where no ’suitable’ search filter has yet been 
identified. Once gaps have been identified, 
the site also offers filter designers examples 
of research‐based methods for filter 
development. The final phase of the project 
will enable verification or otherwise of the 
original sensitivity and precision data in the 
light of whether the strategies as originally 
published perform similarly in different 
subject areas, and / or over different time 
periods. 
 
 

 Making a commitment to EBLIP: The 
role of library leadership.  
Suzanne Grefsheim, MEd, MSLS, National 
Institutes of Health & Jocelyn Rankin, PhD, 
Center for Disease Control, & Susan 

http://www.york.ac.uk/inst/crd/intertasc


Evidence Based Library and Information Practice 2007, 2:2 
 

 15

Whitmore, MS, MSLS, National Institutes of 
Health, United States.  
 
Program Objective: As part of its long‐
standing commitment to create a learning 
organization, the library leadership team of 
a major research institution planned and 
implemented a systematic approach to 
fostering EBLIP practice and enabling 
library staff to routinely apply evidence in 
decision‐making.  
Setting: The program was implemented in a 
biomedical research library located in 
Maryland that serves a major U.S. 
government agency conducting translational, 
bench‐to‐bedside research.  
Participants: Library staff participating in 
this initiative included 32 professional 
librarians, 4 library technicians, a library 
student intern and the head of the library’s 
IT office, a computer specialist. All have 
library and information science questions 
which can be answered with the right 
evidence.  
Program: This research library initiated a 
program to create an environment 
supportive of EBLIP that included support 
and release time for EBLIP projects, formal 
training in EBLIP skills, and team mentoring 
as research projects evolved, all of which 
culminated in a Library Research Festival 
day. During the trainings, participants 
worked in small groups to develop different 
research questions and outline appropriate 
methods. After training, four teams worked 
individually with the instructors to further 
refine their research questions and methods. 
Two demonstration studies using 
qualitative methods were implemented 
under the leadership of the qualitative 
methods instructor. As all the research 
studies progressed, the teams consulted 
with the instructors by phone, utilized the 
onsite expert for qualitative studies, and 
conferred with other experienced 
researchers on staff who volunteered to 
serve as mentors.  

Main results: By providing a supportive 
framework for EBLIP practice, library 
leadership can successfully engage staff in 
EBLIP thinking and small research studies. 
After five months in which to design and 
conduct a research project, the major library 
services teams and others who worked more 
independently presented their results at a 
Library Research Festival. Highlights of 
results from their studies on collection 
analysis, federated searching, information 
desk services and document delivery, and 
informationist services will be briefly 
described.  
Conclusions: Librarians with some training 
in the research process and ongoing 
mentoring can design, conduct and learn 
valuable information that will help them 
introduce new services; improve collection 
development; and better understand the 
information‐seeking behavior and customer 
services needs of users in general as well as 
specific target groups so the right 
information reaches the right person and the 
right time.  
 
 

 Substantiating the Value of Library and 
Information Services: Collecting and Using 
the Evidence to Tell the Real Story. José 
Marie Griffiths, Dean and Professor, School 
of Information and Library Science, 
University of North Carolina at Chapel Hill, 
United States. 
 
In today’s climate of strained budgets and 
demands for increased accountability and 
transparency, public, academic and special 
libraries are under greater pressure than 
ever before to “prove the worth” of 
information services and libraries to their 
constituencies and communities. This 
presentation will provide an in‐depth 
description of the methodology and results 
of a series of large scale value studies 
conducted over the years by Griffiths and 
King, the most recent involving public 



Evidence Based Library and Information Practice 2007, 2:2 
 

 16

libraries in the states of Pennsylvania and 
Florida. Professor Griffiths will review the 
evidence and suggest ways in which the 
study results may be used to inform 
stakeholders about the value of library and 
information services. 
 
 

 Wrestling with the appraisal and 
production of evidence – and the winner 
is ..!  
Lotta Haglund, BA, MLIS, & David Herron, 
Karolinska Institutet, University Library, 
Sweden.  
 
Objective: using EBLIP to stimulate 
professional (scholarly) development  
Setting: a large medical research library in 
Sweden.  
Method: two approaches have been taken 
involving: 1) the development of the critical 
appraisal skills of the library staff, and 2) the 
production and publication of evidence. For 
the development of the critical appraisal of 
evidence, we have been holding a journal 
club since October 2004. The club started as 
a less structured meeting using a home‐
made template for the contextual analysis of 
the articles, and has more recently 
developed into a more stringent and 
objective critical appraisal exercise including 
the use of the CRiSTAL checklist on 
Appraising a User Study. On the side of the 
production and publication of evidence, we 
have recently run two projects. Firstly, a 
qualitative research project using the 
method of “participant observation” to 
investigate the information searching 
behaviour and IT support needs of younger 
researchers (under 40); based on the insight 
that more local knowledge is needed about 
their actual everyday information behaviour 
when using the electronic library or other 
resources. Secondly, we have attempted to 
use collaborative writing in the production 
of an article on library educational 
development with a view to make the 

writing process easier and more effective 
and spread knowledge about the project 
amongst the staff.  
Main results: the outcomes from these two 
approaches are promising. Awareness about 
LIS research, about qualitative research 
methodology (specifically) and the scholarly 
awareness (generally) have increased 
markedly amongst the library staff by using 
the EBLIP approach. We are also seeing 
indications of the effect of these efforts on 
various library activities, i.e. team 
discussions and user education. Library staff 
also show more interest in reading the 
published literature and publishing 
themselves.  
Conclusion: to be able to develop the 
services of the library to better suit the 
academic setting of the future, one strategy 
is to develop knowledge about research 
methodology and design, and the scholarly 
work of researchers. Using the approaches 
described above is helping to open windows 
into the research world.  
 
 

 Professionalism and Evidence‐based 
Practice: Reflections of a University 
Librarian. Margaret Haines, University 
Librarian, Carleton University, Ottawa, 
Canada. 
 
This paper will provide a personal 
perspective on the impact of evidence‐based 
practice on the concept of professionalism in 
the library community. The author will 
draw on her career in the UK and Canada 
and demonstrate how the concept of 
evidence‐based practice was adopted by 
librarians in the UK and has significantly 
influenced the development of new 
professional qualifications from CILIP – the 
Chartered Institute of Library and 
Information Professionals. She will also 
show how leadership in evidence‐based 
information practice has led to expanding 
roles for library and information 



Evidence Based Library and Information Practice 2007, 2:2 
 

 17

professionals in many sectors as well as new 
partnerships between librarians and other 
evidence‐based professional groups. Finally, 
Haines will draw on personal experiences in 
introducing evidence‐based practice to 
university libraries in the UK and Canada. 
 

 When the evidence isn’t enough: 
Organizational factors that influence 
effective and successful library assessment.  
Steve Hiller, MLS, MA, University of 
Washington Libraries, Martha Kyrillidou, 
MLS, MEd, Association of Research 
Libraries, & Jim Self, MLS, MA, University 
of Virginia Library, United States.  
 
The Association of Research Libraries is 
sponsoring an ongoing service on ‘Effective, 
Sustainable and Practical Library 
Assessment’ led by Steve Hiller, Jim Self, 
and Martha Kyrillidou. This ongoing 
program was established after a two‐year 
effort “to assess the state of assessment 
efforts in individual research libraries, 
identify barriers and facilitators of 
assessment, and devise pragmatic 
approaches to assessment that can flourish 
in different local environments.” The initial 
two year project involved site visits to 24 
academic research libraries during 2005‐06 
with each library receiving a report that 
evaluated their assessment efforts and 
recommended ways to move assessment 
forward at that library. The following 
factors were identified as important for 
good library assessment:  
Library leadership  
Organizational culture  
Identifying responsibility for assessment  
Library priorities  
Sufficiency of resources  
Data infrastructure  
Assessment skills and expertise  
Sustainability  
Analyzing and presenting results  
Using results to improve libraries  

This paper will describe the organizational 
factors that facilitate and impede using data 
effectively and the implications for 
assessment in research libraries and is based 
on the findings of the two year effort led by 
the authors. While local conditions and 
organizational cultures play important roles 
in the different approaches each library has 
taken to assessment, several of the factors 
listed above have emerged as especially 
critical for successful assessment and appear 
to be the keys to developing effective, 
sustainable and practical assessment in 
research libraries. Having good evidence is 
not enough if the library cannot effectively 
use that evidence to improve library services 
and address customer needs. Evidence‐
based librarianship is especially critical now 
as libraries are increasingly asked to 
demonstrate the value they add to the 
academic enterprise and the difference they 
make to the work of faculty, students, 
clinicians and other researchers. Libraries 
don’t operate in a vacuum and must also 
work with their academic institutions in 
addressing the key issues of (a) 
accountability, (b) accessibility, (c) quality, 
and (d) affordability in higher education 
emphasized. 
 
 

 The theory and practice of evidence‐
based information work – one world?  
R. Laval Hunsucker, PhD, MLIS, University 
Library, Universiteit van Amsterdam,  
The Netherlands. 
 
Purpose: To investigate the validity of the 
assumption that evidence‐based library and 
information practice (EBLIP) – as conceived, 
defined, and implemented up to now – is 
indeed applicable to the full spectrum of 
library and information activities.  
Methodology/approach: The author’s study 
and conclusions are based on: 1) a survey 
and critical appraisal of quantitative as well 
as qualitative research as reported in our 



Evidence Based Library and Information Practice 2007, 2:2 
 

 18

own professional literature – particularly 
with respect to intermediated information 
retrieval, reference services, and collection 
management; 2) a wide‐ranging 
examination and appraisal of major 
scholarly publications in epistemology, in 
the philosophy and sociology of science and 
scholarship, and in cognitive psychology; 3) 
long personal experience as researcher and 
university teacher, in scientific publishing, 
and (since 1989) as academic librarian.  
Findings: This reflective investigation 
suggests that it is much too early to assert 
with confidence (as is often nonetheless 
done) that EBLIP enjoys either universal or 
holistic applicability in the library and 
information services arena. Available 
evidence and insights point, rather, to at 
least these four alternative conclusions: 1) 
The EBLIP model as presently developed 
and delimited is by its nature less 
productive for supporting truly user 
oriented library/information services for the 
social sciences and humanities, than for the 
medical and natural sciences communities. 2) 
It is probably advisable, whatever the field, 
to base practice no less on (sound) theory 
and theory‐building than on “empirical” 
findings. We should look for a better 
balance between inductive and deductive 
processes. 3) EBLIP is not uniformly valid 
across all aspects of our services and 
procedures, but is apparently less 
appropriate for some of them than it is for 
others (e.g. those which this author has 
previously called our more “circumspect” 
functions). 4) The disciplines to which one 
should normally look, beyond library and 
information studies, for useful evidence and 
theories, ought to be expanded to include at 
least philosophy, sociology, and the 
cognitive sciences – and in the post‐
positivist spirit perhaps even to linguistic 
and literary studies (semantics, speech acts, 
genre theory, rhetoric, etc.).  
Research implications: The basic 
assumptions behind EBLIP are valid, and in 
fact essential to further assuring the 

effectiveness and relevance of our work. We 
must however, both as researchers and as 
appliers of research, develop a less 
monolithic and more nuanced vision of the 
EBLIP approach. The research agenda 
should incorporate explicit provisions for 
accomplishing the necessary differentiations 
in respect both of disciplines served and of 
functions performed.  
Practical implications: Practitioners must be 
prepared to follow where the best evidence 
(in the broader and more varied sense 
suggested above) leads. That implies an 
even more reflective (but also reflexive!) 
mindset than EBLIP already recommends. It 
means the readiness to give up – or to adapt 
– even the vested interests and articles of 
faith themselves on which we are 
accustomed to found our professional 
legitimation and identity. If, that is (but only 
if), the evidence testifies that such is in the 
best interests of the clientele we are there to 
serve.  
Value/originality: Encourages a more 
realistic standpoint regarding, and therefore 
a more workable approach to, EBLIP. 
 
 

 Establishing a model for evidence 
based collection management.  Denise 
Koufogiannakis, MA, MLIS, University of 
Alberta Libraries, Canada.  
 
Question: How can collection managers and 
selectors structure their practice so that 
collection decisions are more evidence based? 
Can a model be established to provide a 
framework for decision making in a large 
academic institution? What questions need 
to be answered and what sources of 
information are most appropriate? Where 
does one begin to find useful information 
and how can it make a difference in day‐to‐
day work? Setting: The model for collection 
management decision making was 
developed for the University of Alberta 
Libraries (UAL), a large academic library 



Evidence Based Library and Information Practice 2007, 2:2 
 

 19

system in Edmonton, Canada. The general 
model can be applied to other libraries 
regardless of type. Examples from UAL 
serve to illustrate practical use of the model 
and how it can be implemented in practice.  
Method: A complete review of collection 
management decision making was 
undertaken. An examination determined 
what types of collections questions selectors 
ask on a regular basis, what things librarians 
should consider when making acquisition 
decisions, and the possible sources of 
evidence to aid selectors. Feedback from 
staff was incorporated, and the model allied 
with institutional directions, focusing on a 
user‐centered approach.  
Main results: In the past, collection 
management was done purely by librarian 
expertise and feedback from faculty, with 
the occasional use of data as it became 
available, but without a concerted effort to 
systematically review data and base 
collections decisions on what that data was 
telling us. There are overarching questions 
to which a traditional EBL model may be 
used to provide insight and answers, while 
at the same time there are day‐to‐day 
decisions which rely on local data and 
placing that data in the hands of selectors in 
a timely way and in a useable format. There 
are also innovative collection projects for 
which assessment can become a built‐in 
mechanism for future evaluation. All these 
areas will be reviewed and connected to 
appropriate sources of data for decision 
making. Conclusion: This presentation will 
map out a concrete model that can be used 
by any library to complement their 
collections based decision making. It is 
grounded in the examples of progress 
within one academic library. These are 
preliminary steps in a new way of thinking 
about collections decision making and how 
to easily implement data into our day‐today 
work. This session will prove valuable for 
any collection manager wanting to 
implement concrete change in order to make 
more effective and user‐based decisions. 

 The making of a journal: 
Disseminating research to inform practice.  
Denise Koufogiannakis, MA, MLIS, 
University of Alberta Libraries, Lindsay 
Glynn, MLIS, Health Sciences Library, 
Alison Brettle, BA(Hons), MSC, Institute for 
Health and Social Care Research, & Pam 
Ryan, BA, MLIS, Science and Technology 
Library, Memorial University of 
Newfoundland, Canada.  
 
Objective: The journal Evidence Based 
Library and Information Practice (EBLIP) 
published its first issue in March 2006. The 
purpose of the journal is to provide a forum 
for librarians and other information 
professionals to discover research that may 
contribute to decision making in 
professional practice. EBLIP publishes 
original research and commentary on the 
topic of evidence based library and 
information practice, as well as reviews of 
previously published research (evidence 
summaries) on a wide number of topics.  
Setting: EBLIP is an international, peer 
reviewed, open access journal published 
quarterly by the University of Alberta 
Learning Services, using the Open Journal 
Systems (OJS) Software.  
Participants: The journal is comprised of an 
editorial team of four editors, two 
copyeditors, more than 40 editorial advisory 
board members, and more than 20 evidence 
summary team writers.  
Program: This paper will detail the process 
of creating a new journal to support 
evidence based librarianship. The process of 
establishing the journal and the evolution 
that occurred over the first year will be 
discussed. The authors will discuss reasons 
why the journal was necessary and the 
various roles of sections and the content 
within. The importance of open access to the 
dissemination of this literature will also be 
discussed. Main Results: By May 2007, 
EBLIP will have published 5 issues. We will 
examine the number of submissions to the 



Evidence Based Library and Information Practice 2007, 2:2 
 

 20

journal, topics included, and average 
turnaround time from submission to 
publication.  
Conclusion: With a full year’s publication 
complete and moving forward into the 
second year, the editors will reflect on their 
experience and discuss future directions for 
EBLIP. 
 
 

 EBLIP as a tool for knowledge 
transfer in a time of demographic change.  
Joanne Gard Marshall, PhD, University of 
North Carolina at Chapel Hill.  
 
Question: Can EBLIP be used as tool for 
facilitating knowledge transfer between 
experienced practitioners and new entrants 
to the field?  
Context: The first of the baby boomers, a 
group born between 1946 and 1964, turned 
60 in 2007 and the next two decades will be 
characterized by increasing numbers of 
retirements. Library and information science 
(LIS) will likely be affected even more by 
this general demographic shift than other 
professions due to the high proportion of 
second career entrants to the field and the 
reduced hiring in libraries during the 1970s 
and 1980s.  
Design: EBLIP seeks to identify the best 
available evidence from the literature and to 
apply it to library decision‐making. Due to 
their recent experience in preparing 
academic assignments, new entrants are 
especially well suited to identifying the 
relevant literature. Practitioners, on the 
other hand, have a great deal of tacit 
knowledge and on‐the‐ground experience in 
managing library and information services. 
We propose to train LIS master’s students 
and their field experience supervisors in 
EBLIP methods. As part of the training, the 
students and their supervisors will identify 
situations in which additional evidence is 
needed to inform library decision making. 
Observations will be made about factors 

that facilitate or act as barriers to the use of 
evidence in LIS practice and the ability of 
EBLIP to facilitate communication between 
the new entrants and experienced 
practitioners.  
Setting: The study will be proposed at UNC 
Chapel Hill where there is a strong history 
of collaboration exists between the UNC 
Libraries and the School of Information and 
Library Science (SILS).  
Main Outcome Measures: Outcome 
measures are still under development; 
however, there are opportunities in this 
project to study information seeking and use 
by LIS practitioners as well as the ability of 
EBLIP to act as a tool for sharing and 
transferring knowledge between new 
entrants and experienced practitioners.  
Results: We anticipate that we will gain an 
increased understanding of how 
information is currently used in libraries to 
inform decision making. We will also learn 
about the practicalities of introducing EBLIP 
in academic libraries and extent to which 
this tool can become a facilitator of 
knowledge transfer between generations. 
 
 

 Choices in chaos: Designing research 
to investigate librarians’ information 
services improvised during a variety of 
communitywide disasters and to produce 
evidence‐based training materials for 
librarians.  Michelynn McKnight, PhD, 
AHIP& Lisl Zach, PhD, Louisiana State 
University School of Library and 
Information Science, United States.  
 
Objective: How can we discover patterns of 
how librarians develop new information 
services needed when disaster strikes the 
community? The authors needed to design a 
project using valid research methods to 
gather consistently and to analyze 
rigorously narrative data from a wide 
variety of libraries that have provided 



Evidence Based Library and Information Practice 2007, 2:2 
 

 21

improvised services during a wide variety 
of disasters.  
Method: The authors surveyed a variety of 
accepted research methods for gathering 
and analyzing qualitative narrative data 
describing similar phenomena. They tested 
some methods in a pilot study of services 
provided by librarians in southern 
Louisiana after two hurricanes in 2005. They 
quickly realized that surveys of hundreds of 
libraries and interviews of a few librarians 
did not produce the kind or amount of data 
to answer the “what” and “how” questions 
for a variety of libraries in a variety of 
disasters. They discussed that study and its 
results with several senior researchers 
experienced with qualitative methods. 
Based on what they had learned during the 
pilot study and in subsequent discussions, 
the researchers designed a much larger 
study to gather evidence of common 
practice patterns in diverse disasters. 
Needing to be open to discovery of what 
happens in different situations they devised 
a research method based on in‐depth 
interviews, multiple case studies, and 
narrative data analysis to build grounded 
theory. The study will conclude with the 
development of best practices presented as 
case studies and evidence based training 
modules for LIS students and practicing 
librarians. (They submitted the research 
proposal to the Institute for Museum and 
Library Services National Leadership Grant 
program.)  
Results: The researchers found evidence of 
the efficacy of Multiple Case Study and 
Grounded Theory research methods for this 
kind of for this kind of research question. 
They developed a protocol to gather data 
from academic, public, school and special 
libraries that provided extraordinary 
services during days and weeks of 
community disasters caused by earthquakes, 
massive blackouts, tornadoes, wild fires, 
hurricanes, land slides, floods, chemical 
spills and other natural or accidental events. 
The IMLS agreed with their findings on how 

to study the question and funded the grant 
proposal. The researchers have begun the 
two year project and will report briefly on 
its progress in this paper.  
Conclusion: Librarians need evidence‐based 
case studies and educational material to 
learn how to identify needed information 
services during any kind of community‐
wide disaster and to respond to these needs 
creatively. Since this preparation is not 
currently included in LIS education, 
standards and guidelines or research 
literature, there is a need for reliable studies 
of these phenomena in a variety of libraries 
and a variety of disasters. The researchers 
studied and tested various quantitative, 
qualitative and mixed data gathering 
methods, tested them, and designed a 
method for gathering and analyzing the 
data necessary to support such guidelines 
and education. Based on their resulting 
research proposal to study about twenty 
such phenomena, the Institute for Museum 
and Library Services has awarded them a 
two‐year National Leadership Grant to 
perform the study. 
 
 

 Paradigms as guides for library 
science research.  
Karin E. Medin, PhD, MLIS, University of 
Arkansas at Little Rock, United States.  
 
Librarianship is not consistently perceived 
as a scientific profession, neither from 
within nor from outside of the profession. 
When vying for a continued role in a 
research intensive university setting, it is 
vital that librarians adapt and convey results 
using scientific methods in order to fully 
participate in the paradigm shifts that are 
occurring in the information management 
field. In order to powerfully impact the 
constituents we serve, we need to engage 
with our vendors, potential 
competitors/partners in the information 
industry, and our campus/complex 



Evidence Based Library and Information Practice 2007, 2:2 
 

 22

Information Technology arms as we devise 
and perform our research. This endeavor 
has been aptly endorsed in the classic 
Harvard Business Review article “On 
Reaching Out in Management” by Givens 
(1952). The paradigms the various 
workgroups espouse begin to fruitfully 
organize research efforts once awareness 
and connections are clear and powerful. 
Upper‐ and middle‐ administration bear 
responsibility for the future of our scientific 
reputation, and we neglect rigorous 
methods and our status as equal players in 
normal science only to our demise. Thomas 
S. Kuhn’s Structure of Scientific Revolutions 
(1970) provides the springboard for a 
discussion of how librarianship really is a 
science, and will thrive only when viewed 
as such. A literature review of the peer‐
reviewed material in library science reveals 
that there is a dearth of acknowledgement 
that paradigms guiding our research do 
exist. There is no doubt, however, that our 
situation of being in the midst of a 
monumental information explosion rivets us 
as scientists to our very cores. As applied, 
librarianship supports the notion that such 
paradigms do exist and allow us to wisely 
transform our every act of service and 
innovation. Fostering awareness of the 
scientific paradigms we espouse, both 
within library science curricula and as we 
publish, allows our status as scientists to 
become evident and valued. 
 
 

 Comparison of training 
interventions for PubMed search skills 
amongst 3rd and 4th year medical students.  
Glenda Myers, D Litt et Phil, Witwatersrand 
Health Sciences Library, University of the 
Witwatersrand, South Africa.  
 
Objectives: To determine if the use of a 
MeSH tutorial had a positive effect on 
online search skills in PubMed training 
programs for medical students.  

Setting: The study took place in a large 
medical school in a developing country. The 
students are enrolled in a hybrid problem‐
based learning (PBL) curriculum. Internet 
bandwidth is problematic, so few training 
interventions can be conducted “live”. Much 
use is therefore made of Power Point screen 
shots for demonstration, and students are 
encouraged to conduct voluntary individual 
hands‐on sessions online.  
Population: Two hundred and fourteen 
third year medical students (year 1 of the 
Graduate Program) were introduced to 
PubMed searching through four formal 
lectures at the beginning of 2006. Two 
hundred and eight fourth year medical 
students (year 2 of the Graduate Program) 
were introduced to PubMed searching 
through small group learning sessions at the 
beginning of 2005.  
Intervention: Both groups of students 
received a Power Point refresher course for 
self‐study before completing an OSCE 
(objective structured clinical examination) in 
June/July 2006. This training course 
demonstrated the use of MeSH, but students 
could opt for text‐word searches as well. 
The PubMed search station in the case of 
both sets of students was one of several 
OSCE stations for clinical skills learnt 
during that block. In the second half of the 
year the PubMed training intervention 
changed to a facilitated clinical skills 
seminar, with voluntary attendance, where 
the use of MeSH was stressed, and the 
“links” option to import the MeSH term into 
the PubMed search screen was 
demonstrated. A copy of this training 
program was loaded onto the students’ 
web‐based curriculum page for further self 
study. Once again both groups of students 
were examined by means of an OSCE 
station in November/December 2006.  
Results: Preliminary results show improved 
OSCE test scores for the second intervention 
(use of the MeSH “links” option) for both 
groups of students. Final examination 
results will be available at the beginning of 



Evidence Based Library and Information Practice 2007, 2:2 
 

 23

the academic year in January 2007. Once the 
final test scores are received, it will also be 
possible to compare the performance of 
students who received formal lectures with 
students who received small group training. 
Conclusions: The use of the MeSH “links” 
option as a training intervention led to an 
increased OSCE score over the use of the 
MeSH demonstration and ability to perform 
a free text word search. Test scores may 
have been influenced by the presence of a 
librarian in a facilitated clinical skills 
seminar, as opposed to a voluntary self‐
study Power Point tutorial. Final year OSCE 
scores may also have been influenced by the 
increased familiarity of students with 
PubMed searching by the end of the 
academic year. Analysis of the final scores 
should indicate whether these variables had 
a significant effect on the MeSH “links” 
intervention.  
 
 

 Students’ patterns of library use and 
their learning outcomes.  Haruki Nagata, 
Graduate School of Library, Information 
and Media Studies, University of Tsukuba, 
Akira Toda, Bunkyo University Shonan 
Library, Japan, & Päivi Kytömäki, Oulu 
University Library, Finland.  
 
Objectives: To examine the relationship 
between students’ patterns of library use 
and their learning outcomes.  
Design: Analysis of focus group interviews 
and exit gate surveys of students’ library use 
and attainments  
Setting: This study was conducted in four 
academic libraries in Japan and Finland 
between 2004 and 2006. All the libraries 
belong to universities, one of which is a 
private institution and three are nationally 
funded. The majority of participants in this 
research are undergraduate students.  
Methods: In initial stage two focus group 
interviews were conducted in Mie 
University Library (Japan) in 2004. The 

survey for this study was designed using 
data derived from the findings of our 
previous research (Toda & Nagata: 
Students’ Library Use and Learning 
Outcomes, 2007 (in process)), which 
demonstrated a positive correlativity 
between students’ library use and their 
learning outcomes. The survey consisted of 
10 questions, 9 fixed response and 1 free text. 
6 of 9 fixed questions use the Likert scale, 
asking about students’ motivation, library 
use and attainment. The first survey was 
conducted at Keio University Shonan‐ 
Fujisawa Campus Library (Japan) in 2005. In 
addition we conducted two focus group 
interviews of the survey respondents. The 
results were impressive as they revealed 
unexpected data, thus further research was 
necessary. In 2005 we conducted two more 
focus group interviews and then in 2006 the 
survey was conducted in Oulu University 
Library (Finland). In addition, another 
survey was conducted in Nagoya University 
Library (Japan) in 2006. The survey 
questionnaire was almost identical for these 
three surveys. Main results ‐ Cluster 
analysis revealed 3 common patterns of 
student usage: learners, socialisers and 
students merely wanting somewhere to sit. 
In addition there were students who simply 
wanted to borrow books or use the PC’s. 
Students were found to gain many and 
varied learning outcomes from their use of 
the library. These included: academic 
knowledge, general learning, new 
perspectives, emotional fulfillment, 
competence in finding information, critical 
thinking, the habit of learning by oneself, 
and the fun of studying. These differences 
among students groups are a significant key 
to understanding how students reach their 
learning outcomes. It is not easy to show in 
a direct manner how students achieve their 
learning outcomes by using libraries. This 
study has tried to examine it by examining 
the students’ use of library and finding out 
how it relates to their own learning 
outcomes, which could open new avenues 



Evidence Based Library and Information Practice 2007, 2:2 
 

 24

to measure the impact of libraries in 
universities. 
 
 

 Using rubrics to collect evidence 
for decision‐making: What do librarians 
need to learn?  Megan Oakleaf, PhD, 
Syracuse University, United States.  
 
Academic librarians who conduct 
information literacy instruction often 
encounter evidence of student learning in a 
variety of forms. To improve instructional 
programs, academic librarians need to 
transform evidence of student learning into 
data for decision‐making. Educators use 
rubrics to transform complex evidence into 
data that is easy to understand, but 
academic librarians are slow to adopt 
rubrics as a form of information literacy 
instruction assessment. Rubrics not only 
provide evidence for decision‐making but 
also offer significant instructional benefits 
including: allowing students to understand 
their instructors’ expectations, making 
scores more meaningful, providing detailed 
feedback, and facilitating self‐evaluation.  
Librarians benefit from rubrics because they 
offer the opportunity to discuss and agree 
upon learning values, provide tools for 
consistent scoring, and deliver data full of 
rich description. For these reasons, research 
is merited in this area. This study explores 
the question: “To what extent can librarians 
use rubrics to assess student learning?” 
Additionally, it documents college students’ 
ability to evaluate websites and librarians’ 
use of assessment evidence to make 
improvements to online instruction. Using 
survey design methodology, this study 
compares academic reference librarians’ 
ability to use rubrics with college instructors 
and students. Librarian participants in this 
study included 5 reference librarians, 5 
college English instructors, and 5 college 
sophomores at one southeastern research 
extensive university. These participants 

received training in rubric assessment of 
student work.  
The study also included 10 reference 
librarians at research libraries nationwide 
who did not participate in rubric training. 
Each of the 25 participants scored 75 
artifacts of student learning using a rubric. 
These artifacts of student learning were 
randomly selected from open‐ended 
responses to questions about evaluating 
websites included in an online information 
literacy tutorial. While some librarians were 
able to use rubrics to provide reliable and 
valid assessments of students’ information 
literacy skills, many could not. In fact, the 
study reveals six barriers that must be 
addressed before librarians can successfully 
wield rubrics as tools for evidence‐based 
decision‐making: 1) difficulty 
understanding outcomes‐based assessment, 
2) tension between holistic and analytic 
rubrics, 3) failure to comprehend rubric 
content, 4) disagreement with rubric 
assumptions, 5) difficulties with evidence of 
student learning, and 6) difficulties 
understanding campus context and culture.  
Fortunately, the study appears to indicate 
that librarians can use rubrics developed 
within an individual campus context and 
culture to translate complex evidence of 
student learning into reliable and valid data 
for improving instructional programs. 
However, if librarians hope to achieve the 
benefits of rubric assessment, they require 
additional training to overcome the barriers 
identified in this study. This paper 
presentation will describe what librarians 
need to learn to use rubrics effectively for 
evidence‐based decision‐making.  
 
 

 Bringing evidence to practice: a team 
approach to teaching skills required for an 
informationist role in evidence‐based 
clinical and public health practice.  



Evidence Based Library and Information Practice 2007, 2:2 
 

 25

Kathleen B. Oliver, MSLS, MPH & Prudence 
Dalrymple, PhD, Johns Hopkins University, 
United States.  
 
Program Objective: 1) To develop an 
academic graduate level course designed for 
information professionals seeking to bring 
evidence to clinical medicine and public 
health practice with its implied “real world” 
time constraints, 2) to further specify and 
realize identified elements of the 
Informationist concept. 
Setting: Johns Hopkins University, School 
of Medicine, Division of Health Sciences 
Informatics. 
Participants: A multi‐disciplinary faculty 
selected for their expertise in the course core 
competencies, and students enrolled in the 
course. The students included two post‐
graduate NLM Informationist fellows, and 
one NLM Second Year Associate. 
Intervention(s): A combination of lectures 
and laboratory exercises taught the skills 
involved in finding, analyzing, and 
delivering evidence in clinical and public 
health decision making with implied time 
constraints. Students presented evidence to 
support decision making in case scenarios 
drawn from clinical or public health practice. 
Skills covered in the course included the 
identification of a question embedded in a 
case presentation, development of effective 
search strategies for relevant evidence to 
address the question, evaluation and 
synthesis of the identified evidence, and 
effective presentation of evidence. The 
learning objectives were: 1) to understand 
and demonstrate the evidence‐based 
answering cycle which includes the ability 
to define a typology of questions; 2) to 
describe the answer process and identify a 
question domain; 3) to learn to search, 
screen and evaluate evidence to support a 
query; 4) to demonstrate appropriate skills 
for presenting evidence‐based data, and 5) 
to demonstrate team membership and 
participation in a framework defined by 
“real world” time constraints Evaluations 

were based on participation in class, exercise 
completion, and final oral and written 
presentations of assigned cases.  
Main Results: 1) Students successfully 
completed all laboratory exercises and final 
oral and written presentations of evidence 
for assigned, real world cases. 2) A course 
syllabus and exercises were completed. 3) 
Student exercises and presentations were 
evaluated by the clinical and public health 
practitioners who developed case scenarios 
addressed by students in their exercises and 
final presentations.  
Conclusion: A graduate level, pilot course 
taught by a multidisciplinary faculty team 
further developed the Informationist 
concept and taught the skills required for an 
informationist role in bringing evidence to 
clinical and public health practice. The 
course design demonstrated a novel 
approach to teaching the skills identified in 
the literature as important to the 
informationist concept. Student follow‐up is 
needed to establish the success of the course, 
and to confirm whether the course 
objectives were effective and at the right 
level. If validated, the approach is one that 
could be replicated in other academic health 
centers with similar pools of expertise. 
Further research is needed to establish an 
appropriate or “good enough” standard of 
evidence short of a systematic review that 
meets “real world” time constraints. 
Ongoing “journal clubs” that reiterate the 
process with new questions derived from 
clinical and public health practice and 
incorporate peer review and faculty 
mentoring would reinforce skills acquired in 
the seminar.  
 
 

 The practitioner’s experience and 
conception of evidence based library and 
information practice: an exploratory 
analysis.  Helen Partridge, Queensland 
University of Technology, Clare Glanville, 
BA GradDipLIS GCertHEd AALIA, 



Evidence Based Library and Information Practice 2007, 2:2 
 

 26

University of Southern Queensland, Sylvia 
Edwards, Dip.Lib., (RMIT), GCEd(HE), 
MIT(Res.), PhD, AALIA, MACS, School of 
Information Systems, Queensland 
University of Technology, & Gillian Hallam, 
Associate Professor, School of Information 
Systems, Faculty of Information Technology, 
Australia.  
 
Question: This paper will consider the 
question: How do practitioners’ experience 
and conceive evidence based library and 
information practice (EBLIP)?  
Setting: All participants will take part in a 
30–60 minute audio recorded interview. The 
goal of each interview will be to understand 
the variation in each participant’s 
experience of EBLIP. The questions will be 
designed to orient participants towards their 
experiences of EBLIP and will be necessarily 
broad. This is to ensure the participant’s 
experiences are allowed to emerge without 
being confined or otherwise influenced by 
the researcher’s views. Data collection is 
currently taking place; the full list of 
questions used in the interview process will 
be outlined in the paper on completion of 
the study.  
Participants: The research is being 
conducted as a pilot study. To this end only 
10 to 20 participants will take part in the 
study. Participants will be library and 
information practitioners from Brisbane. 
Full participant details will be available after 
data collection.  
Methods: Phenomenography provides the 
theoretical basis for the study’s research 
method. It is an interpretive research 
approach that looks at the different ways 
people experience or conceive a range of 
phenomenon. The intent of 
phenomenographic research is to 
understand variation in the collective 
experience of the participants in regards a 
particular phenomenon (in this instance 
EBLIP). The strength of phenomenography 
as a research tool rests in its capacity to 
uncover variation in conception, awareness, 

understanding or experience. That is, 
phenomenography will help tease out the 
full spectrum of experiences or conceptions 
of EBLIP by practitioners; and not just the 
“average” or “typical” experience or 
conception. The phenomenographic 
approach makes it possible to focus, not on 
the participants per se, nor on the EBLIP, 
but rather on the interrelation between these 
two; that is, the practitioners varying 
experiences of, and conceptions of, EBLIP.  
Main findings: The intent of the analysis is 
to identify the variation in the experience of 
EBLIP by library and information 
practitioners. During data analysis the 
interviews will be pooled so that interviews 
are not tied to individual participants. The 
analysis can thus proceed with a focus on 
the phenomenon under study and not the 
individual. The content of the interviews are 
examined with specific attention given to 
the similarities and differences between 
what was said about EBLIP. It is then 
possible to (i) seek meaning – that is, 
determine the discernable variations in 
ways of experiencing EBLIP; and (ii) seek 
structure – that is determine the critical 
elements and dimensions of the variations 
associated with each meaning. The meaning 
and structure of various experiences are 
then divided into separate categories of 
description. Together the categories of 
description represent each way of 
experiencing EBLIP. The aim in analysis is 
to describe the phenomenon of research 
interest through a limited number of 
descriptive categories, usually between 4 
and 7. Data analysis will take place in late 
February/early March. Conclusions: Whilst 
a full discussion on the conclusions is not 
possible until the study is completed (early 
March) it must be noted that the study is 
significant because it will provide the first 
model of EBLIP as understood by the library 
and information practitioner. This model 
will assist library educators, associations 
and others involved in supporting, 
preparing and educating current and future 



Evidence Based Library and Information Practice 2007, 2:2 
 

 27

evidence based professionals, so that an 
evidence based culture can be firmly 
established within the profession. 
 
 

 Finding our foundation: Analysis 
of the LISA database for research 
retrievability.  Carol Perryman, MS LIS, 
Doctoral Fellow, School of Information & 
Library Science, University of North 
Carolina at Chapel Hill, United States.  
 
Objective: The primary objective of this 
study is to examine the Library and 
Information Science Abstracts (LISA) 
database to determine if research literature 
can consistently be retrieved by using 
keywords identifying the research 
methodologies used.  
Question: For the journals named, are 
articles identified as ‘research’ able to be 
consistently retrieved by using keywords 
related to research methodology?  
Methods: Citations from the top 10 Library 
and Information Science journals for 2001 as 
identified by Koufogiannakis, Slater & 
Crumley (2004) were obtained, then a filter 
developed by Catherine Beverley (2004) was 
used independently to identify research 
articles. The resulting sets of citations were 
compared, then the two datasets were 
analyzed in order to consider retrievability 
and fit for assigned keywords from the LISA 
database.  
Results: Although it would need to be 
tested against a random set of citations 
rather than the purposive sample tested 
here, our analysis suggests that retrieval 
using the descriptor terms alone may 
succeed in only 31.5% ± 5.2% of attempts, 
with a 95% confidence interval.  
Conclusions: The LISA thesaurus is not 
consistent or sufficiently comprehensive to 
serve the needs of researchers. 
Recommendations for the improved 
retrievability of LIS research literature from 
the database are made. 

 Transforming the library: Applying 
multiple assessment methodologies to 
library instruction and planning.  Sue F. 
Phelps, MLS, & Karen R. Diller, MILS, 
Washington State University Vancouver, 
United States.  
 
Question: The Library at Washington State 
University Vancouver will be remodeled 
and expanded within the next five years 
because of the changes in student 
population and a rapidly growing campus. 
The Library faculty and staff ask how 
instruction, services, and space must change 
to improve student learning and grow with 
the expanding campus. Setting: The WSU 
Vancouver Campus has gone from an upper 
division and graduate only campus to a 
four‐year campus and is expecting a thirty 
percent increase in students from 2005‐2007.  
Participants: The participants in the study 
were faculty, staff and students from the 
WSUV campus.  
Methods: A literature search was conducted 
prior to the project to see what other 
colleges and universities were doing to 
assess library services and space on their 
campuses. Much of what we found was that 
LibQual is the current standard, but LibQual 
did not address all of the issues we were 
facing. We designed our study to address 
these issues using new and innovative, as 
well as more standard, methodologies. 
Student learning was assessed through the 
new General Education program built for 
our first freshman class and incoming 
transfer students. Several months were 
spent doing research on how assessment 
was being done at other institutions and in 
looking for software programs that would 
include assessment. A portfolio program 
was found that would allow assessment of 
the campus learning outcomes, including 
information literacy, to be built into the 
program. Students show progress through 
evidence and reflection on that evidence, 
which is assessed by a group of faculty 



Evidence Based Library and Information Practice 2007, 2:2 
 

 28

using a standard rubric. Three 
methodologies were used to assess services 
and space. First, information was gathered 
from all employees of the Information 
Services department (Library, Information 
Technology, and Videoconferencing) in a 
Nominal Group Process session at their fall 
retreat about the future needs of the campus. 
The result was an abundance of expert 
qualitative data. The participants then 
analyzed the data and prioritized the 
outcomes to set library goals. The second 
and most formal methodology provided a 
more traditional approach to assessment. 
Focus groups of each user population were 
used for exploratory data assessment. The 
issues raised by the focus groups were used 
to develop a survey that was distributed 
electronically to all staff, faculty and 
students. Results were statistically analyzed 
to help evaluate current services and space 
and to inform future programs and space 
planning. The final methodology to assess 
services and space involved taking 
photographs of students working alone or in 
groups across campus in order to assess the 
way students use space, equipment and 
furniture. Those photographs were 
evaluated in an informal observational 
study to assist in the Library’s renovation 
and expansion plans. Main Findings: This 
study is currently in progress. Analysis and 
conclusions are expected to be completed by 
March 2007.  
Conclusions: The areas in which we will 
draw conclusions include student learning 
in information literacy, the need for specific 
types of space within the library and patron 
satisfaction with current services, both in 
person and at a distance. 
 
 

 Why Librarians Leave: A Proposal to 
Study the Factors that Influence Librarians 
to Exit the Profession.  Susan Rathbun‐
Grubb, Doctoral Student, School of 

Information & Library Science, University of 
North Carolina at Chapel Hill, United States.  
 
Question: What are the internal and 
external factors that influence librarians to 
leave the profession, and who is most likely 
to leave?  
Context: Given the amount of pre‐
employment preparation for a career in 
librarianship and the resources that libraries 
spend to develop early‐career professionals, 
the failure to retain librarians in the 
profession is a great waste to the librarians 
who leave and the institutions that lose 
them. A better understanding of the reasons 
why librarians leave could guide library 
administrators in creating and improving 
retention programs and may be able to help 
library and information science (LIS) 
educators design programmatic or 
curricular strategies to address these issues 
before the students enter the workforce. 
Setting: This qualitative research project 
will be a pilot study to determine the design 
and feasibility of a larger main study to be 
conducted afterward. Participants will be 
recruited using a snowball sampling 
technique until a sample of 10‐15 persons is 
formed. For the purposes of the study, a 
former librarian is someone who holds a 
Masters degree in Library Science, who has 
worked as a professional librarian in a 
public, academic, school, or special library, 
and who no longer works in a library setting. 
Design: The researcher will conduct 
individual semi‐structured interviews with 
each participant. Questions will be open‐
ended, and designed to provoke lengthy, 
reflective answers. Interviews will be sound 
recorded, transcribed, coded, and analyzed. 
After the pilot study is completed, the entire 
study design will be examined for problems 
such as scope, imprecision of definitions, 
underlying weaknesses in assumptions or 
theoretical underpinnings, problematic 
questions or questioning techniques, and 
quality of coding structure. The research 
questions will be refined, and the semi‐



Evidence Based Library and Information Practice 2007, 2:2 
 

 29

structured interview questions will be 
revised and finalized. Design of the 
interview questions and analysis of the 
answers will be done after an examination 
of the research and professional literature on 
voluntary turnover and retention, and by 
using the life course perspective. This 
sociological framework serves as a method 
for understanding the interaction of 
historical, generational, geographical, and 
societal forces that impact a person’s life 
choices and “pathways” throughout a 
lifetime. A bird’s‐eye view of a person’s 
entire career path, situated in its historical, 
geographical, and cultural context creates a 
richer field of data for a researcher to mine.  
Results: It is hoped that completed research 
in this area will enhance the knowledge base 
of LIS educators, professional librarians, and 
library administrators and through them, 
eventually improve the “quality of life” in 
the profession. The words of librarians who 
have left may inform LIS educators who can 
create realistic expectations of the workplace 
for future practitioners. 
 
 

 Electronic document delivery (EDD) 
turnaround time and its connection to 
patient care in the hospital.  Karen L. Roth, 
MBA, MLS, AHIP, Morton Plant Mease 
Health Care, & Thomas W. Hill, Medical 
Library, Self Regional Healthcare, United 
States.  
 
Purpose: To describe a small research study 
that connects EDD turnaround time to the 
hospital’s mission of excellent clinical 
patient care based on the Abels et al. (2002, 
Journal of the Medical Library Association, 
90:276‐284 and 2004, Journal of the Medical 
Library Association, 92: 46‐55) preliminary 
taxonomy on the value of health sciences 
library services.  
Setting/Subjects: Hospital libraries in the 
ESE/A (E‐delivery Southeastern Atlantic) 
Region DOCLINE® group. DOCLINE® is 

an electronic document delivery program 
for use by medical libraries in the United 
States and Canada administered by the 
National Library of Medicine. Within 
DOCLINE®, there are reciprocal lending 
groups for document delivery.  
Methodology: The research study involved 
3 phases. Phase 1 entailed extracting 
DOCLINE® data from 2 hospital libraries to 
determine a baseline turnaround time for 
EDD. Phase 2 replicated and validated 
Phase 1 results by extrapolating the same 
data from 25 libraries in the ESE/A group. 
Phase 3 correlated the data from Phase 2 
into the value of hospital library services. 
Utilizing an online email‐linked survey 
(SurveyMonkey), library customers were 
asked if rapid turnaround time was of value 
to them.  
Results/Outcomes: Survey results from 
Phase 3 showed that hospital library 
customers valued the rapid delivery time of 
EDD and used the materials for both patient 
care and education/teaching. Using the 
taxonomy provided by Abels et al., the 
correlation between EDD and patient care 
indicates that hospital library services are 
consistent with the hospitals’ mission for 
clinical care.  
Discussion/Conclusion: Outcomes research 
is valid and necessary for hospital librarians 
to demonstrate their value to their 
organizations. Using available data and 
survey tools, the hospital librarian can show 
library services contribute to the hospital’s 
mission of excellent clinical care. 
 
 

 Evidence‐based practice in US fire 
library management.  Lian Ruan, MLS, 
Illinois Fire Service Institute & Linda C. 
Smith, PhD, Graduate School of Library and 
Information Science, University of Illinois at 
Urbana‐ Champaign, United States.  
 
Question: This study was conducted to 
determine how special libraries serving fire 



Evidence Based Library and Information Practice 2007, 2:2 
 

 30

professionals are used, valued, if they are 
efficiently organized to give maximum 
access to their resource collections, and the 
impact such libraries have on information 
use by fire professionals in their decision‐
making.  
Design: The study used the Chicago, 
Rochester, and SLA study instruments as 
the basis for questionnaires to measure the 
impact of library‐supplied information on 
practical decision making and applied 
research in the fire service sector. Data were 
collected at six sites over a seven‐month 
period, February‐ August 2004.  
Setting: Six fire libraries that represent 
significant contributors of information 
services to fire professionals (including fire 
service personnel as first responders and 
researchers) in the United States 
participated in the study.  
Participants: 343 fire professionals 
evaluated the impact of the information 
received in response to a request for some 
information from their special library 
related to a recent decision‐making situation. 
Respondents held a variety of positions, 
including firefighters (27%), training officers 
(19%), fire chiefs (13%), researchers (17%), 
administrative staff (13%), and other (11%).  
Main Results: Major findings from 
completed surveys include that 97% of the 
fire service personnel and researchers 
(n=343) said that the information received 
was relevant to their work. 97% reported 
that the information was of practical value 
and 81% said that the information was of 
research value. The special libraries were 
effective in supplying information in 
decision‐making situations because 94% of 
respondents reported the information they 
received led to better‐informed decisions, 
and in increasing their level of confidence in 
those decisions (89%). Areas of impact 
included training, research, emergency 
response, changed procedures and policies, 
budget decisions, and personnel 
management.  

Conclusion: The study demonstrates the 
vital and integrated roles fire service 
libraries can play in their organizations with 
information services having a direct impact 
on users’ training, research, and emergency 
response activities. The overall study results 
will assist librarians in many different 
settings who can benefit from greater 
awareness of information needs related to 
public safety and homeland security and 
strategies for addressing them. Based on the 
results of the study, special librarians can 
develop services that target particular types 
of impacts, as well as improving the level of 
impact in various areas. The study also 
clearly indicates that fire libraries need to 
consider different approaches to evaluating 
their services, and the library profession 
needs to pay more attention to professional 
development in this area. Future research 
can include non‐users, virtual users 
accessing services via a library’s web site, 
and others involved in public safety, such as 
emergency medical responders. Other 
studies can examine and identify skills, 
attributes and subject knowledge for 
librarians and information professionals 
working in fire emergency services and 
homeland security.  
 
 

 Distance education: a good model for 
professional continuing education. Connie 
Schardt, MLS, Medical Center Library, Duke 
University & Julie Garrison, MLS, Central 
Michigan University, United States.  
 
While a number of studies have compared 
online and face‐to‐face learning, there is still 
little evidence about how effective the 
online environment is for continuing 
education and professional development 
types of activities. Drawing upon earlier 
research, this paper explores the 
effectiveness of a Web‐based professional 
continuing education course, compared 
with an equivalent face‐to‐face version 



Evidence Based Library and Information Practice 2007, 2:2 
 

 31

designed to teach practicing medical 
librarians how to participate in and 
advocate for Evidence Based Medicine at 
their individual institutions. Two cohorts of 
practicing librarians were self‐selected to 
participate in either the distance education 
8‐week course or the 8‐hour peer‐to‐peer 
class. The authors compared student pre‐
class, post‐class, and 6‐month post‐class 
assessments of knowledge retention to 
evaluate student learning and the 
effectiveness of the course delivery methods.  
 
 

 Designing an evidence‐based model 
to create a core title collection. Ada Seltzer, 
MSLS, AHIP, FMLA, University of 
Mississippi Medical Center, United States.  
 
Purpose: The objective of this paper is to 
describe the evidence‐based methodology 
used to develop a new annual selection 
guide for the health sciences.  
Setting: The methodology combines the 
subjective evaluation of subject authorities 
with quantitative measures that generate 
data and knowledge used for the decision 
making process. A series of Web‐based tools 
developed by Doody Enterprises link, 
tabulate and distill selections, assessments, 
scores and “essential purchase” 
recommendations. Participants: A volunteer 
17 member Library Board of Advisors and 
Doody’s staff designed the evidence‐based 
model and continue to evaluate and 
improve the methodology.  
Method: The model combines different 
levels of expert assessments from content 
specialists and library selectors to establish a 
small subset of titles that represent the 
essential knowledge for a specific health 
sciences specialty. This subset is evaluated 
by library selectors on five key collection 
development criteria using a numeric rating 
system. Scores by multiple selectors are 
averaged for each title and used to identify 
titles for the guide. A separate evaluation is 

performed to determine the “essential 
purchase title” (EPT) status, defined as titles 
recommended for purchase by a library 
with an annual bookbuying budget of less 
than $7,500.  
Main results: The methodology identifies 
and determines the titles that comprise the 
selection guide (Doody’s Core Titles) 
representing the best of the literature in 121 
health sciences specialties recommended for 
a library collection. Three editions have been 
published since 2004 and each edition 
represents a different and separate 
application of the model.  
Evaluation/Conclusions: The model has 
been successful in producing a core list that 
is authoritative, comprehensive, timely and 
reliable. Ratings bring a separate set of 
values to the evaluation and decision 
making process and may help reduce the 
bias inherent in the subjective aspects of the 
evaluation. The methodology applies the 
traditional collection development criteria in 
new ways for evidence‐based selection 
decisions. More study is needed to 
determine the discriminating power of the 
3‐point response scale in making 
meaningful comparisons of titles within 
specialties, the impact on collection 
development in health sciences libraries, 
and the success of the measures in 
identifying the highest quality core titles. 
 
 

 Understanding patron needs and 
resource usage in the networked academy.  
Win Shih, MSLIS, MSBA, Denison Memorial 
Library, University of Colorado at Denver 
and Health Sciences Center, United States.  
 
Objectives: The purpose of this study was 
to better understand various aspects of 
patrons’ access to library’s electronic 
resources and services via its Web site, their 
motivation, and the resources they used.  
Brief Description: As library resources and 
services continue to evolve rapidly and 



Evidence Based Library and Information Practice 2007, 2:2 
 

 32

ever‐more‐sophisticatedly along 
technological vectors, the imperative 
persists for librarians to develop an 
innovative, systemic methodology for 
fathoming the effectiveness in meeting the 
demands and necessities of our less‐visible, 
yet omnipresent and “omni‐diverse” 
patrons, as well as for promoting efficient 
resource management and capacity 
planning. Methods: Traditional, web‐
transactional log analyses possess a raft of 
merits, including unobtrusive and automatic 
logging, minimal overhead costs, and 
relatively simple data analysis procedures. 
However, such transaction logs cannot 
provide important user demographic data 
(e.g., metrics such as “academic status – 
faculty/student/staff,” “departmental 
affiliation,” etc.), let alone the patron’s 
purpose (psychographic data) for utilizing a 
library’s resources in the first place (i.e., 
“teaching,” “research,” “course work,” 
“patient care,” and so forth); nor why a 
specific resource is being selected. These 
types of much‐more‐specific information 
have the potential to assist libraries in 
infinitely more useful ways for better 
understanding their patrons, a patron’s 
information seeking behavior, and the 
multifaceted interrelationship between 
patrons’ academic disciplines and the 
library resources and facilities available to 
assist them. In 2006, Denison Memorial 
Library of the University of Colorado at 
Denver and Health Sciences Center (http:// 
denison.uchsc.edu) conducted a year‐long, 
library‐usage study to better understand 
patron information needs and their 
information‐seeking behaviors. Based on the 
Association of Research Libraries’ “MINES 
for Libraries” methodology, we asked 
patrons visiting our web portal to complete 
a brief, single‐page online survey before 
they connected to their destination URL. In 
addition to resources consulted or chosen by 
patrons, data was collected on 
demographics, current locale of connectivity, 
along with “purpose of library portal 

utilization.” Combined with unobtrusive 
web‐access logging and vendor supplied 
usage statistics, we are able to employ this 
valid statistical and factual evidence for 
collection development, resource allocation, 
budget and funding requests, system 
performance, and IT capacity planning.  
Results/Outcome: Our presentation 
therefore will provide findings of our study, 
its implications, combined with 
comparisons and contrasts to the results 
from web transaction log analyses and 
statistics garnered by Serials Solutions, our 
E‐journal portal vendor. Furthermore, we 
will discuss how such exercise offers the 
opportunity to assimilate evidence‐based 
information practice and knowledge 
management skills into our daily operation. 
 
 

 Improving online access to electronic 
journals.  Steven J. Squires, MSLS, Margaret 
E. Moore, AMLS, MPH, & Susan H. Keesee, 
MSLS, UNC Health Sciences Library, United 
States.  
 
Research Question and Outcome: What 
percentage of articles valuable to UNC 
faculty, students, and staff are readily 
available and accessible online? For those 
found to be unavailable or inaccessible, 
what are the reasons? Knowing the relative 
extent of access problems will allow HSL to 
make informed decisions regarding best use 
of limited library resources to improve 
online access to electronic journals. 
Significance: In 2004, the HSL participated 
in a service quality survey, LibQual+, 
designed and implemented nationally by 
the Association of Research Libraries. The 
results indicated that online access to 
electronic journals does not meet the 
expectations of UNC faculty, students, and 
staff. This problem is one of the top two 
problems identified for HSL and other 
libraries across the country. Accessing 
needed knowledge resources is vital to the 

http://denison.uchsc.edu
http://denison.uchsc.edu


Evidence Based Library and Information Practice 2007, 2:2 
 

 33

success of UNC faculty, staff, and students 
in fulfilling the Universityʹs mission. 
Findings will be useful to other libraries that 
need to address the 
same issues. The study extends classic 
availability studies focusing on print 
materials into the online environment. 
Setting/subjects: Citations valuable to a) 
students in Health Affairs courses, b) 
researchers, and c) clinicians. Citation sets 
consisted of journal articles authored or 
cited by UNC‐CH authors, or chosen by 
UNC educators for course‐work, and 
representing core constituency groups. 
Methodology: Observational study and 
analysis. Availability of selected citations is 
determined by repeated searches over time, 
reasons for failure are compiled and 
categorized, and means of ameliorating 
failures assessed. 
Results: Of 400 journal articles, 22% were 
found to be unavailable. Most were not 
available because the library did not 
subscribe to the journal or the journal article 
dated ealier than available online from the 
publisher. Only six articles that should have 
been 
available were not available as a result of 
linking failures. Sixty‐seven percent of 
unavailable articles were published before 
2000. 
Our hypothesis that a small number of 
reasons would account for most journal 
availability failures was confirmed.  A 
significant number of failures are amenable 
to corrective action through more 
acquisitions. Having found the extent of our 
availability problem and its causes, the 
library can better move on to study question 
of accessibility, or the user experience 
navigating to available resources. These may 
include problems with authentication when 
using off‐campus computers, with browser 
configurations for EZ Proxy, with confusing 
aspects of website presentations, with 
cataloging notations and directions, and 
with our sometimes multiple alternate paths  

to full‐text. 
 
 

 A comparative study of book and 
journal use in the social sciences. Allison M. 
Sutton, MLIS, & JoAnn Jacoby, MSLIS, MA 
Anthropology, Education & Social Science 
Library, University of Illinois, United States.  
 
Academic librarians are challenged with 
development and maintenance of collections 
of research materials in various formats. 
Though it is largely assumed librarians are 
surveying their constituency as a part of the 
collection management decision‐making 
process, the literature reflects only a small 
number of studies that focus on direct 
solicitation of user opinions. This project 
included a 22 question survey of faculty and 
graduate students in a cross‐section of social 
science disciplines (anthropology, 
psychology, social work, and sociology) 
which was completed in 2005.  
The objective is to gather data about book 
and journal use that can be used to inform 
collection development priorities and 
discern shifting patterns of use in an 
increasingly hybrid (print and electronic) 
information environment. The analysis 
phase of the project is currently in process. 
We anticipate that our analysis will shed 
light on a number of broader issues and 
questions, including: What are the 
prevailing collection access issues? How 
might they help us to manage the continued 
shift from print to electronic format? Can 
the findings from this survey aid in the 
development of a more accurate assessment 
of the collection informed by current 
research interests and priorities? Is book & 
journal use aligned with any shifts in the 
disciplines that are tied to certain subfields? 
Likewise, is use aligned with structural 
changes within departments, divisions or to 
the curriculum? How do faculty and 
graduate students differ in their use of the  
 



Evidence Based Library and Information Practice 2007, 2:2 
 

 34

collection? What similarities and differences  
in book & journal use are apparent across 
disciplines? What specific books & journal 
considered ‘most important’ by social 
science faculty & graduate students fall 
within or outside of the scope of the 
collection? What importance might our 
constituency attach to having books and 
journals featuring materials by and about 
classic or contemporary theorists in their 
areas of interest?  
We will also discuss how the input received 
has helped shape our ongoing efforts to 
build a collection of books, journals and 
other items which are most useful to our 
faculty, students and researchers. The 
survey and its results targeting assessment 
of user needs will serve as a model for best 
practices in collection development for 
academic librarians. 
 
 

 Library leaders discuss the pros and 
cons of evidence‐based practice. Patricia L. 
Thibodeau, Duke University Medical Center 
Library, Jean Wilkins, Illinois State Library 
(retired), Susan K. Nutter, North Carolina 
State University, Lian Ruan, China 
Programs and the Illinois Fire Service 
Institute (IFSI), University of Illinois at 
Urbana‐Champaign, & Sandra Hughes‐
Hassell, School of Information and Library 
Science, University of North Carolina at 
Chapel Hill, United States. 
 
We put the question to five library leaders: 
Does EBP work in your setting? Each has 
been directly concerned with practice based  
decision making through the course of their 
career, and offers their unique perspective 
and experience in a lively discussion.. 
 
 

 Information access survey at St. 
Martin’s College, England, April 2005: An 
investigation into the non‐use of library 

services by current students.  Lisa Toner, 
BA (Hons), Dip Lib, Harold Bridges Library, 
United Kingdom.  
 
Question: Why do some students at St 
Martin’s College make little or no use of the 
library services provided by the institution 
and what are the reasons why these 
students do not engage with the printed 
material available to them?  
Setting: St Martin’s College is a Church of 
England Higher Education institution 
located in the North West of England with 
11,274 students (6839 FTE). 5918 are on part 
time courses and of those 181 are on courses 
taught at a distance. The College is multi‐
site having three main campuses in 
Lancaster, Ambleside and Carlisle. Courses 
are also provided from Barrow, Whitehaven, 
Newcastle, Tower Hamlets and Woolwich. 
The portfolio of courses taught at St 
Martin’s centres on Professional 
Programmes within the areas of Health and 
Education.  
Methodology: The research project was 
conducted over a three month period 
between March and May 2005. 2189 
Questionnaires were posted to students who 
qualified as low or non‐ users according to 
the library database, TALIS. Low use was 
defined as students who had borrowed 
three items or less in a year. This amounted 
to 21% of total student numbers. As 
nonusers were deemed to be a difficult 
target audience to contact, a further 800 
questionnaires were distributed to 
classrooms. The results were collated using 
the SPSS statistical software package. The 
project returned a 28% response rate. Over 
half of those were based at the satellite sites 
and were, in fact users of those libraries. 
This data was not initially known as these 
sites do not use TALIS. Therefore the actual 
numbers of non users was reduced to just 
13.94%.  
Summary of the findings: The Carlisle 
campus has the highest incidence of non‐use 
The Faculty of Health and Social care has 



Evidence Based Library and Information Practice 2007, 2:2 
 

 35

both the highest incidence of non‐use 
overall and the highest incidence of non‐use 
at the Lancaster site but of those over half 
do use other university or NHS libraries 
through reciprocal access schemes such as 
UK Libraries Plus. 78% of the non‐users in 
the College were female 95% were mature 
students 75% were on part time or distance 
learning courses ‘Distance from the library’ 
was the single biggest factor cited by 
respondents (68%) for non‐use Many 
students were not aware of some of the 
services on offer such as postal loans and 
web services Only a third of non‐users made 
use of electronic resources Fewer than 10% 
accessed the e‐books collection 88% claimed 
to use the Internet as a source for their 
assignments 70% of non‐users said that they 
bought their own copies of books and a 
further 44% borrowed from their friends 
First year students represent the largest 
group of nonusers with second year and 
diploma students the second biggest groups  
Conclusion: The main groups of students 
who don’t use traditional library services 
are those who may feel on the fringes of the 
College due to their part time or distance 
mode of learning. Even then, a third of those 
are making use of library services nearer to 
their home or place of work. This research 
has analyzed some inconsistencies in the 
promotion of library services to groups of 
users and we will be working to redress the 
balance to provide a more equitable service 
to all our customers. 
 
 

 Utilizing citation analysis to assess 
the coverage of the abstracting & indexing 
databases available via the Digital Desktop 
Library for USDA (DigiTop).  Matthew 
Treskon, National Agricultural Library, 
United States.  
 
Question: How closely do four Abstracting 
& Indexing (A&I) databases (Scopus, Biosis, 
CAB, Agricola) cover the perceived need of 

researchers at the Agricultural Research 
Service (ARS), an agency of the United 
States Department of Agriculture (USDA)? 
Setting: The National Agricultural Library 
(NAL) is one of four national libraries. It 
houses one of the world’s largest and most 
accessible agricultural information 
collections and serves as the nexus for a 
national network of state land‐grant and 
USDA field libraries. The motto of the 
library: advancing access to global 
information for agriculture. ARS is the 
USDA’s chief scientific research agency. 
DigiTop, Digital Desktop Library for USDA, 
delivers quality information resources and is 
managed by NAL with financial support 
from multiple USDA agencies, including 
ARS.  
Participants: According to the sampling 
method detailed below, all USDA ARS 
research published in 2005 is represented in 
this study. It is assumed that this represents 
the intellectual effort and output of the 
agency as a whole.  
Methods: We used the author‐based metric 
of citation analysis to identify ARS 
researcher need, extracting a representative 
sample of works cited from ARS 
publications in 2005. This sample was then 
checked against the four A&I databases 
mentioned above (as well as DigiTop’s 
collection of 2,000+ fulltext journals) for 
availability, utilizing a strict manual 
checking procedure designed to uniformly 
and fairly search the four databases. Main 
findings: We decided that the following 
means of analyzing the collected data would 
provide useful insight into the ways the 
databases covered the needs of USDA ARS 
researcher need: overall coverage of works 
cited, overall similarity to the sampled 
works set, coverage by format, coverage by 
year, uniqueness of content, and 
complementary coverage.  
Conclusions: According to this study, 
USDA‐ARS researchers can find either the 
citations/abstracts or the full text to the 
material needed 90% of the time. Regarding 



Evidence Based Library and Information Practice 2007, 2:2 
 

 36

the specific A&I services, this study found 
that Biosis and Scopus had significantly 
higher rates of overall coverage than 
Agricola or CAB, even though the Agricola 
and CAB databases were found to be 
considerably more similar to the 
demonstrated patron need than Biosis or 
Scopus. Even though material published 
before 2000 was still highly cited, analysis 
by year reveals that a high percentage of 
works cited were published 2000 to current, 
with a peak at 2002‐ 2003. Although 
Agricola’s overall coverage rates were not as 
exhaustive as Biosis or Scopus, analysis by 
format revealed that Agricola’s coverage 
rates were the highest for proceedings, 
chapters, books, and second highest for 
Other. This study finds that Agricola and 
Scopus contain more unique content than 
CAB or Biosis. Likewise, the A&I pair of 
Agricola and Biosis had the highest level of 
complementary coverage, followed by 
Agricola and Scopus. This suggests that 
Agricola’s content complements these 
commercial services, and that the 
development of the database should 
continue to focus on unique content.  
 
 

 Knowledge and skills required to 
provide virtual reference services (VRS): 
Evidence from three studies.  Feili Tu, PhD, 
& Nancy P. Zimmerman, PhD, School of 
Library and Information Science, University 
of South Carolina, United States. 
  
Question: What knowledge and skills are 
required to provide VRS to the public (both 
adults and youth) and to health‐related 
professionals, and what challenges do 
library and information science (LIS) 
educators face in producing graduates 
qualified to deliver these types of VRS?  
Design: Three survey studies were 
conducted in 2002, 2004, and 2005. Both 
qualitative and quantitative methods were 
used to analyze the data.  

Settings: 2002 study: 1) academic, public, 
and secondary school libraries providing 
VRS; 2) VRS systems (e.g., QandA Café). 
2004 study: 1) public and school libraries 
with VRS available for youth; 2) VRS 
systems with youth services (e.g., QandA 
Café). 2005 study: academic 
biomedical/health sciences libraries, hospital 
libraries, special bio‐health‐related libraries, 
and VRS systems with health‐related 
services (e.g., AskNow). Participants: 
Librarians experienced in providing both e‐
mail reference services and chat‐based VRS. 
Purposive sampling was used to recruit 
participants. 2002 study: 18 reference service 
providers and administrators of reference 
departments in academic, public, and high 
school libraries, as well as in VRS systems. 
2004 study: 16 reference service providers 
and administrators of reference departments 
in public and school libraries, and in VRS 
systems with youth services, plus several 
academic librarians providing VRS to 
youths. 2005 study: 21 information 
professionals providing VRS in health‐
related information settings or associated 
with VRS systems with health‐related 
services. Intervention(s): Reference curricula 
in the Schools of Library and Information 
Sciences (SLIS) at San José State University 
and the University of South Carolina (USC) 
have been revamped. VRS instruction has 
been integrated into reference courses. A 
continuing education (CE) course on VRS is 
in place at the SLIS/USC. Based on the 
results of the 2005 study, a course on 
electronic health information retrieval has 
been created for delivery in spring 2007.  
Main Outcome Measure(s): Four major 
indicators are: 1) knowledge required, 2) 
resources used in answering questions, 3) 
essential skills, and 4) LIS education and 
training for the provision of VRS.  
Main Results: In the three studies, 98% of 
the subjects rated knowledge of subject 
analysis, formulation of search strategies, 
and problem‐solving and of theoretical 
framework of reference interviews and 



Evidence Based Library and Information Practice 2007, 2:2 
 

 37

transactions most important. Significant 
skills were information retrieval, online 
searching, interpersonal communication in 
online environments, conducting a reference 
interview, and selecting and accessing 
electronic information systems. Of these, 
98% of the subjects reported that 
problemsolving and information retrieval 
skills are most essential. Overall, training for 
VRS practice is not adequate. 67% of the 
subjects in 2005 study reported 
dissatisfaction with their LIS education.  
Conclusion: Knowledge of resources in 
various formats (especially electronic 
databases) in general and specific subject 
areas is critical in providing VRS. LIS 
curricula must be revamped through 
integration of new technology into reference 
and management curricula. Further 
investigation of the following is needed: 
Should CE courses on VRS be created in 
various formats? How effective are VRS, e.g., 
Live Homework Help, for youth? How does 
Live Homework Help influence library 
services for youth? How should school 
media specialists and youth service 
librarians provide VRS appropriately? 
Should library instruction programs and/or 
user educations programs be created and 
provided for VRS users?  
 
 

 Using a prompt sheet to improve the 
reference interview in a health telephone 
helpline service.  Christine Urquhart, PhD, 
University of Wales Aberystwyth & Toni 
Price, National Institute for Health and 
Clinical Excellence, United Kingdom.  
 
Question: Does a prompt sheet improve the 
reference interview process for health 
information advisers working at NHS Direct, 
a 24 hour telephone helpline in the UK? 
Design: A randomised control trial.  
Setting: Eight NHS Direct sites across 
England. NHS Direct provides a 
confidential health care advice service to the 

public, handling 6‐7 million calls per year. 
Around 20% of the calls are routed to health 
information advisers (80% to nurse advisers).  
Participants: Newly recruited health 
information advisers (n=30), full and part‐
time, were randomly allocated to a control 
group (n=15) or intervention group (n=15), 
and 26 completed.  
Intervention: Attitudes of the national staff 
group of health information advisers to four 
possible improvements to the reference 
interview were assessed through a 
questionnaire survey (response rate 88/268, 
33%). As a prompt sheet was the second 
(and inexpensive) choice, a prompt sheet 
was designed and piloted with six 
experienced health information advisers. 
The prompt sheet included prompts for 
demographic information, reason for call, 
condition/treatment plan, existing 
knowledge of caller, special needs of the 
caller, conclusion, handling a call 
empathetically. The final version was trialed 
in three waves over several months, with 
random allocation of new recruits. Testing 
of reference interview expertise was done at 
the end of basic training, and two months 
later, using the same ten test questions that 
were based on common questions received 
by NHS Direct. A framework of possible 
responses was drawn up for each question 
(highly relevant, potentially relevant and 
minimally relevant), and three points were 
awarded for each highly relevant response, 
one for each potentially relevant response 
and a minus one point for each response of 
minimal relevance. If the response was not 
already listed it was considered on its merits 
and categorised accordingly. The total 
possible score for each of the 10 questions 
varied.  
Main Outcome Measures: Average group 
score for each question, baseline and after 
two months, individual scores for each 
question, baseline and after two months, 
and the change (improvement).  
Main Results: The average score of prompt 
and non‐prompt (control) participants 



Evidence Based Library and Information Practice 2007, 2:2 
 

 38

increased on the second test, for each of the 
10 questions. The prompt group improved 
more than the control group for 8 of the 10 
questions, and this increase was due to a 
larger number of highly relevant items 
noted. Of the 16 health information advisers 
who improved their net scores, 10 had the 
prompt sheet available. 15 health 
information advisers (9 prompt, 6 control) 
improved on five or more questions. Tests 
were conducted to assess whether previous 
experience as a call handler or site might 
affect the degree of improvement, or 
whether full time advisers were more likely 
to improve than part‐time advisers.  
Conclusion: The trial appeared to indicate 
the benefit of a prompt sheet for some, 
though not all, newly recruited health 
information advisers to improve their 
reference interview technique. It was, 
however, impossible to assess objectively 
the degree of compliance with the prompt 
sheet by the intervention group, or possible 
contamination of control and intervention 
participants. 
 
 

 Evidence Based Librarianship in the 
Social Sciences: A New Project of the 
Social Science Libraries Section of the 
International Federation of Library 
Associations (IFLA).  Steve Witt, MS, 
University of Illinois, Center for Global 
Studies, United States.  
 
The literature on evidence based practice 
within libraries documents extensively the 
tradition of this form of inquiry to support 
professional development and improved 
services within health science libraries. 
Much of this work is focused upon the use 
of scientific and quantitative methodologies. 
Often absent in the discussion is the use of 
evidence based practice in social science 
libraries and the role of qualitative social 
science research methodologies as a means 
of evidence based inquiry. To address this, 

the IFLA Social Science Libraries Section 
(SSLS) is researching both the extent of 
evidence‐based practice’s use within social 
science libraries and the ways in which 
qualitative social science methodologies 
such as action research and case studies are 
being used for evidence based inquiry 
within libraries. Through this two‐year 
project, the SSLS will publish of a white 
paper that will contain (1) a literature 
review on evidence‐based librarianship as it 
is defined and practiced within social 
science libraries; (2) results of a survey of 
social science librarians within academic 
and special libraries on the extent of usage 
of evidence‐based practice and 
methodologies employed; and (3) a series of 
case studies that demonstrate best‐practices.  
The project will formally begin at the IFLA 
Conference in Durban, South Africa, where 
the SSLS program will focus on case studies 
of evidence based inquiry within social 
science libraries. In 2008, the SSLS will 
present research data and further case 
studies at the IFLA Annual Conference in 
Quebec, Canada. At this time, the SSLS will 
also solicit further papers for publication in 
an IFLA monograph. This paper will present 
the IFLA project in detail, analyze the 
current view of evidence based research 
within qualitative research community, 
provide a typology of qualitative based 
methodologies used within the social 
sciences, and examples of qualitative 
applications of evidence based inquiry 
within libraries.  
 
 
Posters 
 
Library Support of Evidence‐Based 
Practice in Health Policy.  Min‐Lin Fang, 
MLIS, The Library and Center for 
Knowledge Management, & Janet Coffman, 
MA, MPP, PhD, Institute for Health Policy 
Studies, University of California, San 
Francisco, United States.  



Evidence Based Library and Information Practice 2007, 2:2 
 

 39

Objective: This presentation describes the 
significant contributions of medical 
librarians supporting evidence‐based 
practice for the California State Legislature. 
It also discusses the development of 
guidelines and procedures to work 
efficiently in a team from multiple 
University of California (UC) campuses. 
Additionally, the process and challenges of 
literature review are detailed.   
Setting:  The Library and Center for 
Knowledge Management at University 
of California, San Francisco (UCSF) is a large 
academic health sciences library, supporting 
a campus dedicated only to graduate and 
professional study in the health sciences.  
Methods: The California Health Benefits 
Review Program (CHBRP) was established 
in 2002 to respond to requests from the 
California State Legislature to provide 
independent analyses of the medical, 
financial and public health impacts of 
proposed health insurance benefit 
mandates. The CHBRP formed teams with 
an interdisciplinary approach. Each team 
consists of CHBRP staff from the UC Office 
of President, clinical faculty, researchers 
and medical librarians from multiple UC 
campuses and consultants from an actuarial 
consulting firm.  They have a wide range of 
expertise, including clinical medicine, health 
policy, public health, health economics 
and actuarial analysis. Medical librarians at 
the UC San Francisco, UC San Diego, UC 
Davis and UC Irvine Libraries conducted 
thorough evidence‐based literature searches 
on specific health benefits mandated by the 
proposed bills. The team members write 
reports on medical effectiveness and cost 
and public health impacts of proposed 
bills based on evidence‐based medical 
literature. Each report summarizes 
sound scientific evidence relevant to the 
proposed bill, deferring policy decision‐
making to the Legislature. The evidence‐
based report is independent and invaluable 
to the Legislature in its policy decision 
making.  

Results: The CHBRP program has been very 
successful despite the challenges of time 
constraints and the unpredictability of when 
requests from the Legislature will be 
received. It has provided an excellent venue 
for librarians to work with faculty and 
researchers in multi disciplines 
from multiple campuses. Not only has it 
presented a new opportunity for librarians 
to contribute their expertise to shape the 
health care policy, but it can serve as a new 
model for bringing evidence‐based practice 
into health policy decisions for legislatures 
in other states.  

 
Descriptive research literature review of 
instruction for business students in 
academic libraries: Best practices or new 
directions? Ann Manning Fiegen, MLS, 
California State University, San Marcos, 
United States. 
 
Question: What does the professional 
literature reveal about information literacy 
instruction for business students?  A 
descriptive literature review of 25 years 
should reveal evidence toward preferred 
instructional practices that lead to increased 
information competencies of business 
students.  This study is a descriptive 
synthesis of the research literature in 
business instruction in academic libraries. 
Data Sources: Library and business 
education bibliographic databases were 
searched for English language publications 
from 1980 through 2006.   Databases 
searched were EbscoHost Premier, Emerald, 
ERIC, Library Literature and Information 
Science, LISA, ProQuest Inform Global, the 
Web of Science and publication reference 
lists.   
Study Selection: Each index was searched 
for the terms: library and business and 
(instruct* or literac* or assess*) and 
(academic or higher education or college or 
university). One hundred and eighty articles 



Evidence Based Library and Information Practice 2007, 2:2 
 

 40

form the study population. Criteria for 
practical and methodological screens are 
review, research objectives, research design, 
Carnegie classification, sample population, 
results and recommendations for further 
research.  Publications about professional 
development or training librarians are 
excluded.  The poster will also exhibit the 
social science research methods used for the 
study and describe how bibliographic 
citation software was used to extract criteria 
for the research review.  
Data Extraction Method: Each qualified 
publication undergoes a qualitative review, 
is coded, and entered into a customized 
EndNote bibliographic record designed to 
extract criteria that will address this study’s 
objectives.  A subset is identified that 
contain quantitative data for future meta‐
analysis.  
Main Results: Qualified articles were 
categorized and analyzed according to 
research objectives, methods, results and 
recommendations.  Preliminary results of 
qualified articles indicate research objectives 
include integration of new technologies, 
educational pedagogy or professional 
standards applied to business instruction, 
and descriptive best practices.  The majority 
of research methods employed is the case 
study, and results are reported through a 
wide variety of outcome measures that will 
be described.  Recommendations in the 
articles generally describe limitations of the 
study or suggest replication in other settings.  
Only 24 of the publications contain 
quantitative data with potential for meta‐
analysis.  Twenty‐eight have been discarded 
by the practical screen. 
Conclusion: Does the literature reflect a 
trend toward preferred instructional 
practice and increased information literacy?  
The poster exhibit will synthesize results, 
inform current practice and stimulate 
research among business librarians about 
future emphasis and research for 
information literacy instruction.   
 

 Assessing the need to update 
prevention guidelines: A comparison of 
two methods. Gerald Gartlehner, MD, MPH, 
Suzanne L. West, MD, MPH, Kathleen N. 
Lohr, PhD, MPhil, MA, Leila Kahwati, MD, 
MPH, Jana G. Johnson, MD, Russell P. 
Harris, MD, MPH, Lynn Whitener, MSLS, 
DrPH, Christiane E. Voisin, MLIS, Sonya 
Sutton, BSPH, UNC Cecil G. Sheps Center 
for Health Services Research, United States. 
 
Purpose: The high quality of the literature 
search and the methodological rigor brought 
to the analysis of that literature are essential 
to sound evidence reports and any practice 
guidelines that might emanate from them. 
The scientific standards for this part of the 
development of evidence tables and reports 
continue to rise. Key elements now include 
clear ʺclinical pathwaysʺ to point to 
significant patient care questions for the 
evidence report, well‐crafted 
inclusion/exclusion criteria for the literature 
search with due attention to gray literature 
and unpublished materials, and 
standardized methods for grading the 
quality of the evidence. Because of the high 
costs associated with updating preventive 
guidelines, we wanted to compare two 
literature review approaches to determine 
which of these most reliably assessed the 
extent of updating required while 
maximizing cost‐effectiveness.  
Setting/Subjects: The RTI‐UNC Evidence 
Based Practice Center (EPC) produces 
systematic reviews and analyses of the 
scientific evidence on a variety of health care 
and health policy topics. EPC personnel 
prepare AHRQ reports and technology 
assessments as well as reports for public and 
private health care organizations, design 
and conduct customized literature searches 
and quantitative analyses, and research the 
best practices and methods for conducting 
reviews of the scientific literature. 
Methodology: The main objective of this 
study was to compare the Shekelle et al. 



Evidence Based Library and Information Practice 2007, 2:2 
 

 41

assessment model (review approach) with a 
conventional approach using a typical 
systematic review method (traditional 
approach) considered to be the gold 
standard, with respect to 
comprehensiveness of results and effort 
expended.  Two teams, consisting of two 
clinicians, one health services researcher and 
one librarian, each used one of these 
methods to independently assess the need to 
update six topics from the 1996 Guide to 
Clinical Preventive Services from the U.S. 
Preventive Services Task Force. The review 
approach was iteratively refined over three 
phases, using an experiential technique and 
2 topics per phase, to achieve greater 
efficiency. We compared the articles 
identified by each approach to evaluate their 
relevance with regard to the critical key 
questions and determined whether the need 
to update based on the review approach 
matched the need to update from the 
traditional approach. Outcomes included 
completeness of study identification, 
importance of missed studies and the effort 
expended by each team. 
Results: Although the modified review 
approach identified fewer eligible studies 
than the traditional approach, none of the 
studies missed was rated as important by 
task force members acting as liaisons to the 
project with respect to whether the topic 
required an update. On average, the 
modified review approach produced 
substantially fewer citations to review than 
the traditional approach. The effort involved 
and potential time saving depended largely 
on the scope of the topic but we would 
conclude that the review approach provides 
a valid, robust alternative to the traditional 
approach. 
Discussion/Conclusion: The modified 
review approach provides an efficient and 
acceptable method for judging whether a 
guideline requires updating. 
 
 

Staying ahead of the curve: A continuous 
and systematic approach to evaluating 
electronic resources.  Karen Stanley Grigg, 
MSLS, & Charlie Spencer Lackey, MLS, 
MBA, AHIP, Duke University Medical 
Center Library. 
 
Objectives: How can the Duke University 
Medical Center Library (DUMCL) create a 
systematic approach to regular, ongoing 
evaluation of current e‐resources that 
includes user feedback and expertise across 
library departmental staff to improve 
purchasing and implementation of e‐
resources?  
Methods: Our population of interest 
consists of a collaborative, inter‐
departmental team of  DUMCL librarians, 
faculty, staff and students. In response to a 
ever‐increasing renewal prices of crucial 
electronic databases, the Library has 
developed a systematic approach to 
reviewing UpToDate and comparable 
products, and plan to apply this approach to 
all of our e‐resources on a regular 
basis.  This poster session will outline steps 
involved and the outcome of our 
review.  The steps include evaluating use 
and feedback of current products, scanning 
the marketplace for competing products, 
assembling a team of reviewers, securing 
the trials, obtaining price quotes, creating 
review criteria, dividing teams into sub‐
teams that evaluate each database using the 
same criteria, reassembling and comparing 
databases as a larger group, promoting trials 
and soliciting feedback from users, and 
creating final report to guide our decisions.   
Conclusion: Librarians involved with the 
review process concluded that this process 
is useful to justify subscription decisions, 
even if the decision is made to continue on 
the current course.  Librarians also find that 
an ongoing, systematic review of databases 
engenders better knowledge of the 
marketplace. DUMCL’s approach to 
database evaluation, along with results of 
our UpToDate evaluation will be included.  



Evidence Based Library and Information Practice 2007, 2:2 
 

 42

Plans to measure effectiveness of evaluation 
of e‐resources using a follow up survey 
and/or focus groups of library users will be 
discussed. 
 
 
Network analysis of campus libraries used 
by faculty and graduate students. JoAnn 
Jacoby, MLIS, MA in Anthropology, 
University of Illinois at Urbana‐Champaign, 
United States. 
 
Purpose: The purpose of this study was to 
gain insight into how the current 
departmental library structure is used by 
faculty in various disciplines, evaluate how 
this structure might be changed to better 
serve their needs, and to map the 
connections between departmental libraries 
from the users’ perspective. 
Setting/Participants/Methodology: Using 
data mined from a large‐scale survey 
distributed to all faculty, academic 
professionals and staff at a large publicly‐
funded research university in Spring 2006, 
this study uses social network and cluster 
analysis to examine the inter‐relatedness of 
departmental libraries from the users’ 
perspective.   
Results/Outcomes: All departmental 
libraries had strong connections to central, 
interdisciplinary service points including 
the Main Stacks and Central Reference.  The 
science libraries form a semi‐independent, 
strongly interconnected cluster, while the 
social science libraries also form a node with 
strong connections amongst themselves as 
well as to science and humanities libraries.  
The humanities libraries formed a structure 
similar to that of the social sciences, but area 
studies were more isolated (though the 
latter may be and effect of low response rate 
from this constituency).  These findings 
have been used to inform planning for a 
proposed scholarly commons and for 
ongoing decisions regarding the closing and 
merger of smaller departmental libraries. 

Discussion/Conclusion: The network maps 
and cluster trees reveal connections among 
disciplines, both expected and unexpected, 
and provide a data visualization tool that 
has helped inform library decision‐making. 
 
 
STAT searches: What do they reveal about 
the use of information by healthcare 
professionals and library services? Michele 
Klein‐Fedyshin, MSLS, Health Sciences 
Library System, University of Pittsburgh, 
UPMC Shadyside, United States. 
 
Objectives: To study the occurrence of 
“STAT” searches in a hospital‐based library 
to understand the motivation and 
completion of urgent mediated search 
requests. In an era of end‐user searching, 
what do mediated STAT requests reveal? 
When our clients need us emergently, why 
is it urgent, how do they request and 
retrieve it, and what resources do we use to 
respond? How does a hospital library 
support the use of information and evidence 
by healthcare professionals? 
Method: “STAT” searches were defined as 
those needed within the day. If necessary, 
staff worked late to complete them. We 
reviewed the last two+ years’ searches (July 
2004 through November 2006) submitted by 
healthcare professionals. Each form has date 
submitted and date needed lines. These 
were used to cull searches requested 
immediately in a retrospective review.  The 
words “STAT”, “now”, “today” or just the 
same date in both boxes defined the period. 
Routine requests, even if for direct patient 
care, were excluded. Over 200 searches 
qualified. Data examined included patron 
type, purpose, requesting method, delivery 
method, causation, format of retrieval and 
databases searched. 
Preliminary Results: Almost 10% of search 
requests of healthcare professionals required 
immediate turnaround. Two‐thirds of these 
answered patient care problems and one‐
third were considered educational or 



Evidence Based Library and Information Practice 2007, 2:2 
 

 43

informational. Multiple databases were 
accessed for information with up to four 
sources being consulted for individual 
topics with an average of two databases per 
question. Ovid Medline was used most 
frequently, followed by PubMed, with Up to 
Date, EmBase, MDConsult and Web of 
Science almost tied for third.  
The urgency resulted from a variety of 
reasons with unusual patient course being 
the most frequent, surgery/procedural 
queries causing the second largest set, 
complications necessitating the third  group, 
drug questions making up the fourth and 
other therapy questions prompting the 5th 
set.   
Clinicians phoned in most requests and 
picked up the majority in person. About 
60% of the answers included articles plus 
abstracts and another 31% included articles 
and text from another source. 
Conclusions: Although STAT searches 
formed a small portion of the professional 
reference component, they filled an 
immediate need. The urgency of the need 
coupled with time constraints may have 
precipitated these requests.  Several distinct 
causes precipitated the urgent need, and 
may define when searching is indicated. 
Answering these queries with articles was 
possible through the extensive electronic 
journal, and databases resources of the 
affiliated Health Sciences Library System. 
Since document delivery takes an average of 
4 days in a hospital library, the importance 
of the online collection surfaces. Librarians 
typically accessed several databases to 
answer the question, which reflected the 
complexity of these patients, and the time‐
intensive search required.  
The library staff responds annually to 
hundreds of mediated search requests and 
thousands of quick reference queries. Yet 
none may have been more important than 
these STAT searches.  
 
 

 Supporting evidence‐based medicine 
in an academic health system: A unique 
partnership between the Center for 
Evidenced‐based Practice and the 
Biomedical Library. Gretchen Kuntz, MSW, 
MSLIS, Clinical Liaison Librarian, 
Biomedical Library, Anne Seymour, Interim 
Director, Health Sciences Libraries, Craig A. 
Umscheid MD, Co‐Director, Center for 
Evidence‐based Practice, & Kendal Williams 
MD, Director, Center for Evidence‐based 
Practice, University of Pennsylvania Health 
System, United States. 
 
Purpose: To describe the development of a 
partnership between the University Library 
and the University Health Systemʹs Center 
for Evidence‐based Practice (CEP). This 
partnership supports enhancing health care 
quality and patient safety within the 
university health system through the 
practice of evidence‐based medicine, which 
includes medical students, residents, fellows, 
librarians, faculty and staff. 
Setting/Participants: The Biomedical 
Library is an academic library in an urban 
setting. The Center for Evidence‐based 
Practice (CEP) is part of the university 
affiliated multi‐hospital health system. 
Brief Description: The Center for Evidence‐
based Practice (CEP) was created in an 
academic health system to support patient 
care quality and safety through the use of 
evidence‐based medicine.  When a clinical 
issue arises that requires an evaluation of a 
drug, device or process of care, CEP staff 
will perform a systematic review of the issue 
alongside the interested physicians to 
produce a guideline or recommendation for 
action for the Health System.  From the 
inception of the Center, the CEP directors 
invited the Biomedical Library to partner 
with them to achieve this goal.   
The clinical liaison librarian is an active 
collaborator with the CEP directors and staff, 
engaging in weekly team meetings and 
project planning, conducting systematic 



Evidence Based Library and Information Practice 2007, 2:2 
 

 44

literature searches, and developing a 
comprehensive training program for 
literature searching which encompasses 
standard EBP skills which is required for all 
Center staff as well as students, residents 
and fellows who choose to participate in the 
Centerʹs Evidence‐based Medicine elective 
program. Additionally, the librarian set‐up 
group accounts for the Center in various 
databases and bibliographic software so that 
all participants have access to and can 
contribute to saved search strategies/results 
and selected citations for specific projects.  
Results/Outcome: The partnership between 
CEP and the Biomedical Library 
commenced in August, 2006 but even in that 
short span has resulted in collaboration on 
five on‐going projects involving 37 searches 
in multiple databases and the training of 2 
residents who opted for the CEP elective 
Evaluation: Our partnership is a work in 
progress and currently evaluation is based 
upon feedback from all of the participants.  
One plan is to incorporate into the CEP 
electiveʹs electronic course evaluation 
software, a section that will include the 
library‐training portion of the elective. The 
CEP directors are working on developing 
broader evaluation methodologies, which 
will encompass not only the operational 
functions but also the clinical outcomes 
resulting from the guidelines.  
 
 
Libraries using evidence – eblip.net.au : A 
top view from Down Under. Suzanne 
Lewis, PhD  BA(Hons) Grad Dip Arts (Lib 
Inf Sci) AALIA Manager, Central Coast 
Sector Libraries, Northern Sydney Central 
Coast Health, Australia., Lisa Cotter, School 
Librarian, Nursing and Midwifery, The 
University of Newcastle, United Kingdom. 
 
Introduction: EBLIP4 coincides with the 
ten‐year anniversary of the term “evidence‐
based librarianship”. In 1997 this concept 
began its ascent from a discussion among 
likeminded library professionals into the 

published literature. It has continued to rise 
through the profession to occupy a place in 
the mainstream and afford librarians an 
enhanced view of the landscape in which 
they make decisions. 
Similarly, Down Under in Sydney, Australia, 
people have, for 75 years, crossed the 
Sydney Harbour Bridge the traditional way 
– along the eight‐lane carriageway. Around 
the same time that Jonathan Eldredge’s 
Hypothesis article introduced “evidence‐
based librarianship” , another pioneer was 
establishing BridgeClimb – an exciting new 
challenge with a fantastic view from the top, 
climbing the Sydney Harbour Bridge via the 
steel arch. Today, EBLIP practitioners are 
like the BridgeClimbers – ready to seek new 
perspectives, take a different route and 
enjoy the journey as well as achieving the 
destination. 
Adventurous BridgeClimbers ascend/cross 
the steel arch with confidence, supported by 
a well engineered structure and strong 
foundations. Libraries Using Evidence – 
eblip.net.au offers a similarly solid 
foundation of authoritative resources to 
support EBLIP practitioners as they seek 
different perspectives on their professional 
practice. 
Objective: To develop a practical toolkit to 
contribute to the evidence‐based library and 
information practice (EBLIP) body of 
knowledge and support application of 
EBLIP by practitioners worldwide. The 
toolkit will be developed with an EBLIP 
approach, and will incorporate Web 
2.0/Library 2.0 techniques where 
appropriate.  
Method: A review of the literature was 
conducted to identify barriers to the 
application of evidence‐based practice, and 
find any existing toolkits already addressing 
such obstacles. Lack of time and difficulties 
locating and identifying EBLIP resources 
were identified as major barriers. The toolkit 
site was designed with the aim of gathering 
together in one place high‐quality resources 
to support EBLIP, thus saving librarians 



Evidence Based Library and Information Practice 2007, 2:2 
 

 45

time otherwise spent searching for resources. 
An advisory group with international 
representation was formed to guide 
development of the toolkit. Once the site 
was built it was promoted and feedback was 
invited. The site was further developed and 
resources added in response to feedback 
received. Content contributions such as 
podcasts, reports of current projects and 
links to related sites were encouraged from 
librarians worldwide.  
Results: Libraries Using Evidence – 
eblip.net.au was launched in October 2006 
and reported in Evidence Based Library and 
Information Practice (1:3, pp.98‐100). An 
international advisory group was 
established and continues to oversee 
development of the site. The site includes a 
toolkit of core EBLIP resources such as 
appraisal checklists, sources of evidence and 
guidelines for evaluation, for the first time 
providing EBLIP practitioners worldwide 
with a single access point to these essential 
tools. 
Libraries Using Evidence – eblip.net.au is 
working with Evidence Based Library and 
Information Practice to help make evidence 
summaries more accessible. The toolkit 
indexes all of the journal’s evidence 
summaries by domain of librarianship, and 
provides an RSS feed for each domain 
enabling readers to monitor new summaries 
in a particular area. The journal’s homepage 
provides a link directly to this section of the 
toolkit. 
RSS feeds are also maintained announcing 
recent articles of interest, and Libraries 
Using Evidence – eblip.net.au site updates. 
A number of high‐profile EBLIP advocates 
contributed podcasts introducing sections of 
the EBLIP Toolkit. 
Libraries using Evidence – eblip.net.au 
continues to support the vision of EBLIP as 
a global movement by facilitating the 
exchange of ideas within the EBLIP 
community. The site encourages 
participation via links to a blog, Facebook 
group, and discussion lists. The toolkit is 

listed as a useful resource by the recent 
FOLIO course, EBLIP‐Gloss (http://eblip‐
gloss.pbwiki.com). 
Conclusion: The site will continue to be 
developed and promoted, with feedback 
encouraged. The 4th International Evidence 
Based Library and Information Practice 
Conference will provide a venue for 
promotion and feedback. Further 
opportunities to include international 
library community participation using Web 
2.0/Library 2.0 techniques and technologies 
will be investigated. 
 

Where are they now? A study of careers of 
library and information science graduates. 
Joanne Gard Marshall, School of 
Information and Library Science, & UNC 
Institute on Aging; Jennifer Craft Morgan, 
UNC Institute on Aging; Heidi Madden, 
Duke University Library; Cheryl A. 
Thompson, UNC Institute on Aging; Susan 
Rathbun‐Grubb, School of Information and 
Library Science, & UNC Institute on Aging, 
United States.  

Purpose: Workforce Issues in Library and 
Information Science (WILIS) is a three‐year 
research project designed to study the career 
patterns of graduates of LIS programs. In 
general, LIS programs have lacked the time 
and resources to track their graduates. As a 
result, stakeholders do not have an adequate 
understanding of what happens to LIS 
graduates over the long term. LIS educators, 
in particular, do not have consistent data on 
the extent to which their programs meet 
students’ expectations, prepare them for the 
workplace or meet continuing learning 
needs.  Such an understanding would assist 
in educating and managing the LIS 
workforce more effectively.  The purpose of 
the initial phase of the WILIS project is to 
build an in‐depth understanding of 
educational, workplace, career and retention 

http://eblip%E2%80%90gloss.pbwiki.com%00
http://eblip%E2%80%90gloss.pbwiki.com%00
http://eblip%E2%80%90gloss.pbwiki.com%00


Evidence Based Library and Information Practice 2007, 2:2 
 

 46

issues faced by LIS graduates using the life 
course perspective from the social sciences.   
Setting/Subjects: 8000 graduates (1964‐
2005) of LIS programs in North Carolina 
were selected. One of the programs is in a 
historically Black institution, allowing a 
focus on minority career and retention 
issues.  
Methodology:  In March 2007, a pilot 
sample of 750 LIS graduates from five LIS 
programs in the state of North Carolina 
were asked to complete a web‐based survey. 
The entire sample will receive the survey in 
August 2007.  
Results: This poster presents data providing 
the rationale for such a study, as well as the 
multiple methodologies that will be used to 
determine the career trajectories of LIS 
graduates.   
Discussion/conclusion: This study will 
compare groups of interest such as 
older/younger workers, gender, library/non‐
library employment and stayers/leavers in 
the LIS field. We anticipate that these 
findings will inform educators, employers, 
policy makers and other stakeholders who 
are concerned with LIS workforce issues. 
 
 

 A place for us: The relevancy of the 
academic library “as a place.” 
Jason Martin, MLS, EdD in progress, 
University of Central Florida, United States. 
 
Are academic libraries “as a place” still a 
relevant part of campus life? Academic 
libraries have faced a plethora of changes 
over the past 15 years. Online information 
has become more available, reliable, and 
sophisticated. College majors have shifted 
from the book‐reliant areas of the 
Humanities and Social Sciences to the 
subjects more dependent on journal and 
online resources such as the Science and 
Business fields. Due to these changes, less 
and less students and faculty actually need 
to enter the physical space of the library to 

find information and perform research. 
Today’s college students do however want a 
place where they can study in groups, snack, 
and have access to the latest computer 
technology, which few libraries allow them 
to do. Added together these factors have 
created a first for libraries across college 
campuses; they are seriously facing the 
threat of becoming irrelevant as a place in 
the world of academia. In the summer of 
2006 I surveyed library directors from small 
and medium sized academic institutions to 
gather their opinions on the current and 
future state of the academic library as a 
place. I then sent the same survey to library 
directors of large academic institutions. 
While their responses indicated that the 
academic library as a place is still relevant 
and needed, the results were not as strong 
as expected. Most of these directors realize 
that libraries now compete with coffee shops, 
bookstores, and computer labs on campus 
for student’s attention. Students no longer 
simply come to the library because it is the 
library. They will patronize places that meet 
their demands. Directors are starting to 
change their libraries to meet the needs of 
their students. Simple things like adding 
comfortable seating, relaxing food and drink 
policies, and adding artwork made the 
library more appealing to students. More 
involved library fixes include adding coffee 
shops, adding more computers, remodeling 
the library space and even removing books 
and changing the way libraries perform 
collection development and their mission as 
a whole. Academic libraries as a place are 
still relevant, but changes need to be made if 
academic libraries want to take a central 
place in higher education. This poster 
session will highlight some of these ideas 
and present results from the surveys that 
highlight the thinking of current library 
directors on this topic. 
 
 
Using EBL practices in strategic planning: 
A case study of methods employed in a 



Evidence Based Library and Information Practice 2007, 2:2 
 

 47

library planning process. Erik Mitchell, 
MLIS, Wake Forest University, United States. 
 
This poster will discuss how to use EBL 
practices in relation to academic library 
strategic planning processes.  A portion of 
the poster will be devoted to presenting the 
methods and resources used during a recent 
environmental scan at the Z. Smith 
Reynolds Library at Wake Forest University.  
The remainder of the poster will review 
applications of EBL and specific resources 
available for use in strategic planning 
situations for libraries.  The poster will focus 
on using methods for defining relevant 
questions, finding evidence through 
literature review, local research, and 
external/national research, and deriving 
themes and trends from the gathered data.  
The poster will underscore the need for the 
use of a grounded approach when 
beginning a planning process. 
 
 

 Testing a new approach to the manual 
literature search process 
in systematic reviews.  Laura C. Morgan, 
BA, Gerald Gartlehner, MD, MPH, Dan 
Jonas, MD, Curtis Bryant, & Claire de la 
Varre, MSIS, UNC Cecil G. Sheps Center for 
Health Services Research, United States. 
 
Purpose: The objective of this project is to 
determine the accuracy, reliability, and 
efficiency of utilizing the Scopus database 
(“Scopus approach”) as an alternative to 
traditional manual literature searches 
(“traditional approach”) for  systematic 
reviews.  The main goal is to determine 
whether Scopus allows more efficient use of 
resources without compromising the 
process in terms of bias (i.e., missing studies 
that should be considered for the systematic 
review) than the traditional approach.  To 
achieve this goal, we will compare both 
approaches during a systematic review on 
the comparative efficacy and safety of 

constipation drugs, commissioned by the 
Drug Effectiveness Review Project. 
Setting: The RTI‐UNC Evidence Based 
Practice Center (EPC) produces systematic 
reviews and analyses of the scientific 
evidence on a variety of health care and 
health policy topics. EPC personnel prepare 
AHRQ reports and technology assessments 
as well as reports for public and private 
health care organizations, design and 
conduct customized literature searches and 
quantitative analyses, and research the best 
practices and methods for conducting 
reviews of the scientific literature.    
Methodology: We selected 20 recent and 
relevant studies, review articles, and 
editorials as publications appropriate for 
manual literature searches.  We will conduct 
both methods independently to determine 
two key outcomes: (1) the time resources 
required for the traditional method vs. the 
Scopus method; and (2) the accuracy of the 
traditional method vs. the Scopus method. 
During the “traditional approach,” two 
researches will examine the reference list of 
each article, identifying any citations 
relevant to the topic of the systematic review. 
The database manager will then manually 
check each identified citation to determine 
whether it has been included in the project’s 
database through electronic literature 
searches. During the “Scopus approach,” the 
database manager will take the relevant 
background articles and download the 
reference list of each article from the Scopus 
database. These downloaded files will then 
be uploaded into a test database for the 
project to determine immediately which 
citations have already been included in the 
project database. Only new citations will be 
reviewed dually by researchers.   
Results and Conclusions: This methods 
study is currently in progress.  If accepted, 
we will present final results and conclusions 
in May. 
 
 



Evidence Based Library and Information Practice 2007, 2:2 
 

 48

Reference transaction records as evidence 
of reference librarianʹs competencies. 
Mitsuhiro Oda, Department of Education, 
Japan, Aoyama Gakuin University, Tokyo, 
& Norihisa Yoda, The National Diet Library, 
Kyoto, Japan. 
 
The Collaborative Reference Database 
Project started in 2002. This project has been 
hosted by the National Diet Library of Japan, 
and managed collaboratively by growing 
number of various libraries of all over the 
country; 286 public libraries, 110 academic 
libraries, and 35 special libraries. Its 
database consists of 4 sub databases;  
‐ ʺDatabase on Reference Questions and 
Answersʺ(DRQA), which contains the 
records of reference activities of the member 
libraries 
‐ ʺDatabase on Reference Guidesʺ, which 
contains the information on how to search 
information sources on specific themes and 
topics 
‐ ʺDatabase on Guides for Special 
Collectionsʺ, which gives information about 
collections on specific themes or on specific 
kinds of library materials of member 
libraries 
‐ ʺDatabase on Profiles of the Member 
Librariesʺ, which contains the information 
on member libraries of the Collaborative 
Reference Database Project 
The authors have analyzed the DRQA 
which has accumulated over 20,000 data 
through out the project.. The DRQA 
contains transaction records of reference 
services which the participatory libraries 
were inquired and answered. The DRQA 
has two distinctive features. At first, as the 
transaction records are “edited and 
compiled” by reference librarians after 
finishing their practice, so they are the 
evidence of reference librarian’s recognition 
toward the transaction. Secondly, this 
database is the very network system of both 
libraries and librarians on the evidence of 
reference services.  

Each record is consisted of 23 elements, and 
among these, “the answer” and “the process 
of answer” are much important for the 
analysis, because these two items contains 
information about the process of the service. 
The authors can recognize the professional 
knowledge and skills through the 
description on the search process for answer, 
the selected resources, the query words for 
information search, and so on. Especially, 
some well‐described records imply the 
decision making on each step of the 
librarians, and we extract the adapted 
competencies of the librarians as 
professionals. 
There have been abundant arguments about 
competencies of reference librarians; 
however, most of them are argued only 
based on experiences. This presentation is 
intended to objectively define the 
competencies of reference librarians by 
using the transaction records of reference 
services as their evidence. The authors also 
make an assertion that the research on this 
assignment has a great potential to be 
utilized for assessment and evaluation of 
reference services, design and development 
of training programs for reference librarians, 
and so on.  
 
 
Assessing the future: Developing 
information technology skills for new staff 
roles in academic medical libraries. Carol 
Perryman, MSLIS, TRLN Doctoral Fellow, 
University of Chapel Hill School of 
Information & Library Science, Robert James, 
Associate Director of Access Services, 
Charlie Lackey, Assistant Director of 
Cataloging and Bibliographic Services, & 
Rick Peterson, Deputy Director, Duke 
University Medical Center Library, Durham, 
NC, United States. 
 
Purpose: The primary objective of this study 
is to assess the information technology (IT) 
competencies of staff at the medical center 



Evidence Based Library and Information Practice 2007, 2:2 
 

 49

library in order to plan for expanded roles in 
the future. 
Setting/Subjects: The Medical Center 
Library serves as the primary information 
resource for the University’s Medical Center 
and Health System.   With 40.25 FTE staff 
and a rapidly shifting demand for 
collaborative and educational spaces and 
services, the Medical Center Library is 
poised for transition to a Knowledge 
Management Center.    
Methodology: First, a literature review was 
performed in order to determine whether 
other libraries had performed a similar 
inventory.  Technology activities derived 
from a review of all job descriptions were 
conceptually grouped to build a core set of 
competencies and an expanded, 
comprehensive listing for use as a 
survey.  After pilot testing with one 
department, the survey was then refined 
and administered to all staff.  Finally, the 
results were assessed and used to support 
training programs intended to address 
deficits between present and future needs. 
Results: The IT assessment and survey 
instruments work well to quantify present‐
day IT skills and skill deficits.  Results of the 
survey aid in planning for future training, 
and enable more accurate position 
descriptions.   
Discussion/conclusion: An awareness of 
staff IT knowledge and practice is crucial to 
planning for the future of this and other 
medical libraries.  In addition to addressing 
position description discrepancies, focused 
IT training supports the career 
development needs of all staff. Ultimately, 
we feel that having a more accurate idea of 
staff IT skills will serve to strengthen the 
ability of library staff to collaborate with 
medical center stakeholders in building and 
providing support for the new Knowledge 
Management Center. 
 
 
Evidence‐based practice: A revolution in 
library project management. Carol 

Perryman, MSLIS, TRLN Doctoral Fellow, 
University of Chapel Hill School of 
Information & Library Science, United States, 
& Patricia L. Thibodeau, Associate Dean for 
Library Services and Archives, Medical 
Center Library, Duke University, Durham, 
NC Durham, NC, United States. 
 
Objective: Health sciences libraries face 
increasingly complex issues and projects, 
but planning templates derived from the 
business world have not always been 
successfully integrated in library settings. 
Evidence‐based library practices enable 
libraries to take a fresh look at the planning 
process. Our objective was to devise a 
scaleable project planning template which 
encourages the use of evidence‐based 
methods. 
Methods: Existing project management 
tools from two health sciences libraries and 
archives were reviewed, followed by a 
survey of the library and general business 
project management literature. This process 
helped to identify a set of ʹcommon 
denominatorʹ processes used in project 
planning, which became the baseline coding 
set for documentary analysis of two prior 
and one current library projects. Information 
needs expressed in task force minutes, 
emails, and other documentation created 
during the planning phase were identified, 
along with the sources consulted in finding 
answers. Findings were verified by means of 
retrospective, open‐ended interviews with 
planning task force members, and by 
participant observation in the current 
project. A particular focus was the use and 
evaluation of decision support resources 
and methods by task force participants. This 
research forms the basis for the formation of 
a new template for project management. 
Results and Conclusions: Results of library 
project analysis revealed that while staff are 
actively engaged in creative and purposeful 
research, the current project planning 
structure led to the following problems: use 
of external information including published 



Evidence Based Library and Information Practice 2007, 2:2 
 

 50

literature was equally limited; project 
documentation did not encourage follow‐up 
evaluation or dissemination; and 
reconstruction of projects was difficult due 
to insufficient documentation and human 
memory instability. A staff planning retreat 
underscored the need for a formal planning 
structure including teamwork guidelines 
and a project template. 
A new project template has been 
implemented which includes key elements 
of evidence‐based practice along with core 
components of traditional planning. 
Elements include searching for evidence to 
answer important questions; evaluation of 
existing documentation for relevance and 
usefulness using an included checklist; and 
dissemination and benchmarking planning 
built into the process. The template will be 
further tested with work groups in practice. 
 
 

 Is “Igaku Toshokan” providing the 
evidence to help medical librarians with 
decision‐making? Yukiko Sakai, MSIS, Keio 
University, & Yasuhiko Kiyama, Juntendo 
University Library, Japan. 
 
Objective: Although evidence‐based library 
and information practice is still new in 
Japan, since the late 1990s medical librarians 
have been expected to take a leading role in 
evidence‐based medicine. They are 
encouraged to become research‐oriented as 
a way to support scientific research for 
health professionals, as well as do research 
for their own practice. 
“Igaku Toshokan”, an official journal of the 
Japan Medical Library Association, is one of 
the most popular LIS journals among 
Japanese medical librarians. Contributors to 
the journal are mainly medical librarians. 
We conducted a study to answer the 
question, “Is Igaku Toshokan now 
providing the evidence to help medical 
librarians with decision‐making?” by 
reviewing the research‐based articles, the 

study types and the domains of the articles 
in the journal. 
Method: We collected articles from the 
journal that were published between 2000 
and 2006, and excluded peripheral items 
such as editorials, book reviews and news 
items. 598 articles were examined as to 
whether or not it was research‐based 
following Peritz’s definition. The study type 
and domains were further identified using 
content analysis methodology. The study 
type was borrowed from Williams’s study 
on the top five LIS journals in 2003. The 
domains were decided based on the 
categories suggested in “Platform for 
Change”, the educational statement 
published by the U.S. Medical Library 
Association in 1992. 
Main findings: 132 articles, for an average 
of 18 articles per year (22%), were identified 
as research‐based articles. The proportion 
was similar to an earlier study on a 
Canadian professional journal, while it was 
lower than previous studies on purposefully 
selected LIS journals. However, since 2004 
the number of research articles has 
remained high ‐‐ over 23 per year ‐‐ and the 
overall proportion marked a record high at 
30% in 2006.  
Case studies were the most frequently used 
method (56%), followed by reviews (22%), 
bibliometrics (11%), surveys (5%) and others. 
The tendency toward descriptive studies ‐‐ 
including case studies ‐‐ was also showed, 
while Survey was more heavily used in the 
other studies on selected LIS journals.  
The major domains covered in the research 
articles are: Information services (43%), 
Resources (16%), Instructional support 
services (14%) and Resource management 
(14%). Articles that dealt with Management 
issues were very few (1%). Case studies 
were heavily applied in most domains 
except for domains related to resources in 
which Bibliometrics (48%) and Review 
(29%) were frequently applied.  
Conclusion: “Igaku toshokan” has 
published a number of research articles in 



Evidence Based Library and Information Practice 2007, 2:2 
 

 51

recent years, yet has been criticized by 
librarians for failing to provide enough 
evidence for medical librarians’ decision 
making through a research methodology 
stronger than case studies. The majority of 
case studies among service domains may 
reflect the need for practical lessons from 
colleagues; reviews from foreign language 
materials are always welcomed in Japan. 
However, in order to implement stronger 
evidence‐based library and information 
practices, our conclusion is that the journal 
should further evolve by inviting more 
medical librarians as authors, and encourage 
them to use stronger, established scientific 
research methods over more social‐science 
based methods. 
 
 
Computing assistants pilot program 
evaluation. Laura Sheble, MLIS, Doctoral 
Student, University of North Carolina, 
Chapel Hill School of Information and 
Library Science, & Thomas B. Wall, PhD, 
Associate University Librarian, Director of 
Public Services, Duke University Libraries, 
United States. 
 
Context: In the Information Commons 
service model, academic libraries are 
providing augmented services to more fully 
support a broader spectrum of the learning 
and intellectual and creative work life cycles.  
A vital component of this augmented 
service model is the provision of computing 
support services.   
Objective: To measure use of computing 
support services provided by student Office 
of Information Technology staff during 
evening operating hours over an eleven 
week pilot program period to guide the 
development of enduring computing 
support service programs. 
Methods: Case study: Service transaction 
logs, reflective diary entries, and a pilot‐
program end focus group were used to 
collect data on multiple levels.  Auxiliary 
data collected through a student library user 

focus group and extant library data 
collection programs provide further 
contextual information.  Data collected 
through the logs and diaries were reviewed 
on a weekly basis and, along with focus 
group data, were subject to summative 
quantitative and qualitative analysis.  Pilot 
program services were available to all onsite 
users of an ARL library within defined 
program days and hours.  
Results: Computing assistants recorded a 
total of 399 service transaction log entries 
over the 11 week period.  Of the recorded 
questions, 79% were resolved directly by the 
CAs, including 86% of 214 computing‐
related questions.  In descending order, 
printing, software applications, general 
hardware, networking, file transfer, and 
scanning were the most common question 
topics.  In addition to computing questions, 
those related to directional help, reference 
and general library services were common.  
Computing Assistants documented needs 
for (1) toolkits that include diagnostic tools 
and utilities and portable storage devices 
and (2) advanced access to information 
about the evolving computing environment 
in the Libraries and across the University, 
and (3) improvements needed in the library 
computing environment, all in the context of 
specific service events. 
Discussion: Weekly review of service 
transaction logs and reflective diary entries 
provided insight into the ongoing 
development of computing support services 
within the libraries and has provided data to 
support the further development of 
computing support services.  Data collected 
through the logs and diaries both supported 
pre‐program assumptions and brought 
unanticipated needs to our attention.  For 
example, while we expected patrons would 
request help with printing, software 
applications and networking, we did not 
anticipate that there would be a great need 
for help with file transfer.  The combination 
of methods used for data collection resulted 
in a dataset rich in detail, contextual 



Evidence Based Library and Information Practice 2007, 2:2 
 

 52

information, and quantified measures we 
used to modify the pilot program on an 
ongoing basis as well evaluate the overall 
program through component analysis.  
Findings of the pilot program have 
informed the continuing development of 
computing support services provided 
collaboratively by the Office of Information 
Technology and the Library System. 
 
 
Research tasks required of freshmen: An 
evidence‐based approach to curriculum‐
integrated instruction. Amy VanScoy, MLIS, 
School of Information & Library Science, 
University of North Carolina Chapel Hill & 
Megan Oakleaf, PhD, School of Information 
Studies, Syracuse University, United States. 
 
Question: To identify the research tasks 
first‐semester students are required to 
perform in order to determine the efficacy of 
existing Curriculum‐integrated instruction 
(CII) programs.  [Curriculum‐integrated 
instruction (CII) is a programmatic 
approach that advocates integration of 
library instruction into the entire curriculum 
rather than individual courses.  It is also 
characterized by a tiered approach, 
beginning with basic skills and progressing 
to more advanced skills later in a student’s 
career.] 
Setting: A large research university in the 
southeast. 
Method: A random sample of 350 first‐
semester students was obtained for the 
study.  A syllabus study was conducted for 
each course in which a student from the 
sample was enrolled, and research 
assignments were analyzed to determine 
what types of research tasks students were 
required to perform.  Analysis was 
conducted to determine the number of 
students in the sample required to do library 
research and what types of research 
students were required to do.  The sample 
was also analyzed by college in which 
students were enrolled. 

Main results: Contrary to findings from the 
literature, all students in the sample were 
required to do some library research.  Most 
students were required to find websites, 
articles and books, tasks that published CII 
programs do not completely address.  When 
students were divided into groups 
according to the college in which they were 
enrolled, there were some differences in the 
tasks they were required to perform. 
Conclusion:  Curriculum‐integrated 
instruction programs need to cover finding 
websites, articles and books to meet the 
research needs of the first‐semester students 
studied.  For students in some colleges, 
additional research tasks should be included 
in departmental CII plans.  Published CII 
programs would not meet the needs of 
students at this university.  Evidence about 
the research needs of students should be 
collected as a basis for developing CII 
programs in the future. 
 
 
The open access revolution: Patterns in 
faculty free full‐text publications. K.T.L. 
Vaughan, MSLS, Librarian for 
Bioinformatics and Pharmacy, Carol G. 
Jenkins, MLS, Library Director, UNC Chapel 
Hill, Virginia R.M. Carden, MSLS, 
Administrative Research Librarian, Medical 
Center Library, Patricia L. Thibodeau, 
MLS,MBA, Associate Dean for Library 
Services and Archives, Medical Center 
Library, Duke University Medical Center, & 
Stefanie E. Warlick, MSLS, Liaison and 
Outreach Services Librarian, Health Sciences 
and Human Services Library, University of 
Maryland Baltimore, United States. 
 
Objectives: Two academic health sciences 
libraries are studying the publishing 
patterns of their institutions’ authors in 
relation to free full‐text journals, both true 
open access and those with embargo periods. 
The study addresses how many Open 
Access (OA) articles were published, in 
which journals and disciplines, and 



Evidence Based Library and Information Practice 2007, 2:2 
 

 53

examines other similarities and differences 
between the two institutions, one public and 
one private. It updates a preliminary study 
done in 2005, by extending the timeframe 
and coverage to include articles whose 
embargo period has been lifted.  
Methods: Duke University Medical Center 
Library and the Health Sciences Library, 
UNC‐Chapel Hill, collaborated to identify 
publications by their institutions’ authors. 
Using standardized search strategies in 
PubMed, articles published in OA journals 
were identified. Due to changing embargo 
periods and increased awareness, further 
evaluation of the data was done to identify 
additional patterns in OA publishing among 
biomedical faculty.  
Main Findings: Preliminary analyses 
indicated that while publication rates 
between the two institutions were similar, 
only five of the top ten journals were 
common to the two schools. The majority of 
the publications were in medicine, but with 
more basic science departments choosing 
OA journals. This follow‐up study covers an 
additional six months of publishing activity 
at the institutions. Analysis will compare 
which journals and disciplines are 
represented, and numbers of articles “born 
free” versus “set free”, to determine if the 
extended time period reveals different 
trends.   
 
 
Information Economics and Scholarly 
Communication as Instructional Strategies 
for Information Literacy. Scott Warren, MA 
LIS, Assistant Head, Textiles Library and 
Engineering Services, North Carolina State 
University Libraries, & Kim Duckett, 
Principal Librarian for Digital Technologies 
and Learning, North Carolina State 
University Libraries, United States. 
 
Over the past four years, librarians at NCSU 
and UCLA have experimented with 
incorporating topics such as the Deep Web, 
the nature of scholarly communication, and 

the inflated costs of academic journal 
subscriptions into information literacy 
instruction. Our goal is to provide students 
with a broader context for understanding 
how scholarly information functions in 
society, how information is structured on 
the Web, and what information can or 
cannot be accessed via Google versus 
subscription‐based resources provided by 
the library. This contextualization of 
academic resources is presented in tandem 
with hands‐on instruction on how to access 
and search such resources effectively. As 
opposed to much information literacy 
instruction, however, less time is spent on 
the “mechanics” of searching and more time 
is spent on the social and economic contexts 
surrounding information and access to it. 
This shift in attention away from simply 
searching towards contextualization of how 
information works in society falls squarely 
into a paradigm shift for librarians towards 
teaching the critical thinking skills that 
contemporary students need. These critical 
thinking skills affect not only their 
mechanical ability to navigate the vast realm 
of free and restricted Internet information 
resources, but also to understand how 
economics shapes availability of and access 
to information– issues that affect all people 
as educated participants in an information 
society. In addition to demonstrating 
techniques for incorporating the economics 
of information into information literacy 
instruction, we will describe assessment 
data explores (1) the interest and usefulness 
of this contextual information for students 
and (2) the appropriate combination of 
contextual content and time spent teaching 
the mechanics of searching during 
information literacy instruction sessions. At 
both NCSU and UCLA this assessment data 
has included end‐of‐workshop assessments 
completed by students. This assessment has 
focused on what they learned that was 
“new” and “useful” as a way to assess how 
much interest and impact the economic 
information held for students compared to 



Evidence Based Library and Information Practice 2007, 2:2 
 

 54

simply teaching them how to search 
databases and e‐journals. Additionally, at 
NCSU librarians are currently collecting 
new assessment data on how such 
instruction might affect students’ mental 
models of how scholarly information is 
made available and accessed on the Web. 
Collectively, this assessment data has 
enabled us to make adjustments to our 
individual instructional effects focused on 
the academic level of our audiences and has 
provides insight into how students think 
about how information works on the Web.  
 
 
Patient 101: Taking charge of your 
healthcare by using evidence based 
information.  Susan E. Werner, MLS, Health 
Sciences Library, Stony Brook University, & 
Colleen Kenefick, MLS, Health Sciences 
Library, Stony Brook University, United 
States. 
 
Program Objective: This poster examines 
the integration of internet consumer health 
information literacy instruction into a 
medical school’s Mini‐Medical School 
program by using evidence based 
information. 
Setting: The health sciences library for the 
academic medical center on Long Island, 
New York is the setting for this innovative 
outreach program. Informatics librarians 
present “Patient 101: Taking Charge of Your 
Healthcare by Using Evidence Based 
Information” as a two‐hour computer 
training session. The informatics librarians 
provide all curriculum materials for 
instruction to foster best practices for 
searching and evaluating Internet health 
information.  
Participants: Informatics librarians provide 
instruction and library staff serve as 
facilitators and technical support. Since 
these are hands‐on sessions, almost all 
public service and information systems staff 
are involved in this outreach program. Mini‐

Medical School registration is open to the 
general community and includes all 
computer skill levels and ages from 
adolescents to seniors.      
Program: For the past seven years, 
community residents have registered to 
participate in an eight week program 
sponsored by the School of Medicine. Mini‐
Medical School mirrors in miniature the pre‐
clinical curriculum of “real” medical school. 
Lectures are provided by the same faculty 
who teach matriculated medical students. 
Mini‐Medical School covers a wide range of 
medical and health topics exploring diverse 
healthcare and related issues. Recent 
sessions include the health literacy crisis, 
how to get the most out of your doctor’s 
visit, and dispelling myths about your body. 
Since the program’s inception in 2000, 
librarians have taught over 1,000 
community members specific methods to 
improve their consumer health information 
literacy skills by using evidence based 
information. Librarians utilize a variety of 
active learning techniques to teach 
participants the best evidence based sources 
to answer their questions about diagnosis, 
etiology, prognosis and therapy.   
Main Results: Targeted pre‐session skills 
surveys divide participants into beginner, 
intermediate, and advanced computer skill 
level sections. A post‐session test is used 
along with a program evaluation form. 
Evaluation forms conclude that 94% of the 
attendees agreed that presented information 
was useful to them and that the librarian 
instructor was extremely effective. 
Conclusion: This program offers the 
opportunity to engage public interest in 
medical science while promoting health 
awareness and enhancing health 
information literacy. It enables the librarians 
to showcase the resources of their library, 
forge closer ties with the community and 
raise public awareness about healthcare 
literacy by using evidence based 
information and practices.