Microsoft Word - Class_Eldredge.doc


Evidence Based Library and Information Practice 2007, 2:4 

 84

   Evidence Based Library and Information Practice  
 
 
 
Classic 
 
Do Clinical Librarians Matter? The First Randomized Controlled Trial in Librarianship 
 
 
A review of: 
Marshall, Joanne Gard, and Victor R. Neufeld. “A Randomized Controlled Trial of Librarian 

Educational Participation in Clinical Settings.” Journal of Medical Education 56.5 (1981): 
409‐16. 

 
 
Reviewed by:  
Jonathan Eldredge 
Associate Professor, School of Medicine and Health Sciences Library & Informatics Center 
University of New Mexico 
Albuquerque, New Mexico, United States of America 
E‐mail: JEldredge@salud.unm.edu 
   
 
Received :  24 September 2007    Accepted : 06 November 2007 
 
 
© 2007 Eldredge. This is an Open Access article distributed under the terms of the Creative Commons 
Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, 
distribution, and reproduction in any medium, provided the original work is properly cited. 
 
 
Abstract 
 
Objectives – To determine whether clinical 
librarian services cause healthcare providers 
to change their information seeking 
behaviors. To evaluate librarians’ 
educational roles for clinicians, patients, and 
patients’ families. 
 
Design – Randomized controlled trial. 
 
Setting – An academic, health‐sciences‐
center, teaching hospital in Canada. 
 
Subjects – A total of eight teams, each 
consisting of at least eight members who 
represented at least three different types of 
health professionals. Four teams 

(rheumatology, obstetrics, neurology, and 
pediatrics) were randomized into the 
intervention group to receive clinical 
librarian services for a six‐month period, 
and four teams (hematology, diabetic day 
care, pain clinic, and community psychiatry) 
were randomized into the control group that 
did not receive clinical librarian services. 
 
Methods – Two half‐time clinical librarians 
attended the intervention groups’ rounds, 
clinics, and conferences identified as having 
educational components or where questions 
would likely arise related to patient care. 
The two clinical librarians handled 600 
perceived or actual information requests, 
delivered 1,200 documents, and provided 
over 3,000 references during the twelve‐

mailto:JEldredge@salud.unm.edu
http://creativecommons.org/licenses/by/2.0


Evidence Based Library and Information Practice 2007, 2:4 

 85

month study period of September 1978 to 
August 1979. The typical service consisted 
of the clinical librarian securing one or two 
articles relevant to the question raised along 
with pertinent references placed in a “hot 
topics” ring binder located in the clinical 
wards. Healthcare providers were alerted to 
or reminded about the clinical librarian 
service through a brochure and an exhibit. 
The brochure also advertised the clinical 
librarian service to patients or their families. 
Approximately 24% of all information 
requests fielded by the clinical librarians 
originated from patients or their families. 
The remaining information requests 
originated from physicians (40%), allied 
health professionals (21%), and nurses (15%) 
belonging to these interdisciplinary 
intervention group teams. 
 
Main Results – Trained impartial 
interviewers conducted in‐depth interviews 
with members of both the intervention 
group teams and the control group teams 
immediately following the first six‐month 
study period and then again three months 
after the end of the study period. Following 
the initial six months of the study period, 
67% of the members of the intervention 
group compared to 37% of the members of 
the study group used the library’s reference 
services. Three months after the study 
period had ended, 76% of the members of 
the intervention group compared to 49% of 
the members of the study group had used 
the reference services. The authors reported 
in a one‐sentence page note that these 
findings were statistically significant beyond 
the .05 level as measured by chi‐square and 
analysis of variance tests. Three months 
after the study period had ended, 60% of the 
members of the intervention group 
compared to 38% of the members of the 
study group reported rating highly the use 
of library resources. In addition, three 
months after the study period had ended, 
36% of the members of the intervention 
group compared to 27% of the members of 

the study group reported rating highly the 
use of reference librarians. Although 
patients or their families were generally 
positive in rating the clinical librarians’ 
services, they proved to be a difficult 
population upon which to conduct a 
comprehensive follow‐up evaluation study 
once patients had left the hospital. 
 
Conclusion – The authors conclude that the 
clinical librarian services to the four 
intervention groups had changed the group 
members’ information seeking behavior.  
 
Commentary 
 
Clinical librarian programs emerged during 
the early 1970s, surrounded with great 
enthusiasm among medical librarians. 
Several retrospective cohort studies or case 
studies attempted to determine the actual 
usefulness of these clinical librarian 
interventions. One such study even 
combined a cohort study with a cost‐benefit 
analysis. Yet, the utility of clinical librarian 
programs could not be proven (Schnall and 
Wilson). Staudt, Halbrook, and Brodman in 
1976 published a retrospective cohort study 
that evaluated a clinical librarian program. 
They used the phrase “an attempt at 
evaluation” in their title and they concluded 
with some apparent frustration that, despite 
the methodological rigor of their cohort 
study effort, “The worth of clinical 
librarians’ programs has not yet been 
proved quantitatively or unequivocally” 
(238). 
 
This important applied research question 
seemed unanswerable until Marshall and 
Neufeld utilized the more appropriate 
randomized controlled trial (RCT) method 
for answering this intervention question 
more successfully. Current EBLIP levels of 
evidence indicate that an RCT represents the 
highest level of evidence for a single study 
to answer an intervention question 
(Eldredge “Levels of Evidence”).  During 



Evidence Based Library and Information Practice 2007, 2:4 

 86

1978, however, the authors were pioneering 
an RCT when no other RCT had ever been 
applied to a library practice research 
question (Eldredge “Trial Design”).  
 
To pioneer an RCT to answer an important 
question alone would constitute an 
important landmark event for our 
profession. Equally important, Marshall and 
Neufeld adapted the RCT design 
innovatively to evaluate the effectiveness of 
the clinical librarian program by using 
clinical teams as the unit for randomization, 
while measuring individual responses to 
questionnaires as the unit of statistical 
analysis. RCTs date back to 1948, but in 1981 
were still relatively rare within clinical 
medicine as compared to 2007. A PubMed 
search using RCTs as a publication type 
reveals that there were almost 11,000 RCTs 
published during the decade leading up to 
the Marshall and Neufeld RCT, whereas the 
past decade has witnessed over 126,000 
published RCTs.  The predominant model 
for an RCT during 1978, then just as now, 
principally involved administering drugs to 
individual patients and then comparing any 
effects of the drugs on the intervention 
group members compared to control group 
members. Marshall and Neufeld 
demonstrated a profound understanding of 
research methodology in order to apply the 
RCT so appropriately in a different context. 
Even when viewed today, with the RCT 
method now far more developed and better 
understood, their adaptation represents a 
significant achievement. 
 
Two systematic reviews published in 2003 
and 2004 evaluated clinical librarian 
programs by synthesizing the available 
research literature. A 2003 systematic review 
(SR) by Winning and Beverly covered the 
years 1983‐2002 due to the expressed desire 
of the authors to update Cimpl’s narrative 
review published in 1985. By their own 
reckoning, however, they noted that Cimpl’s 
work had been based on a selective 

collection of studies so it could not even 
approximate the comprehensiveness of an 
SR. Winning and Beverly’s inclusion criteria 
therefore excluded the Marshall and 
Neufeld 1981 study by two years. This 
starting date for Winning and Beverly’s SR 
seems unnecessarily arbitrary considering 
the more inclusive approach of a second SR 
published in 2004.  
 
This second SR by Kay Cimpl Wagner and 
Gary Byrd was far more comprehensive 
(1974‐2002) than Winning and Beverly in its 
search of the literature. Wagner and Byrd 
noted importantly that the Marshall and 
Neufeld RCT was one of only four studies 
that displayed methodological rigor by 
“using historically controlled before‐and‐
after methods or comparison control 
groups” (30). A third SR published during 
2005 by Alison Weightman and Jane 
Williamson reviewed the impact of library 
services on patients and on the specific 
dimension of time saved for clinicians. 
Weightman and Williamson’s SR included 
the aforementioned 1976 study by Schnall 
and Wilson, but consciously excluded the 
1981 Marshall and Neufeld RCT since it did 
not report any patient outcomes (21). This 
explicit exclusion in Weightman and 
Williamson’s SR can be defended 
methodologically (Mulrow and Cook). 
 
The Marshall and Neufeld study stands out 
as the only RCT to evaluate a clinical 
librarian program, thereby representing the 
highest form of evidence in answering an 
intervention question.  One could find ways 
to improve upon this RCT by using more 
advanced methodological approaches 
available to us now such as minimizing 
contamination between groups and 
instituting more detailed measures. Yet, it 
seems most noteworthy that our profession 
has failed even to utilize a single RCT since 
then to answer what our profession 
considers to be the important question on 
the efficacy of clinical librarian programs! 



Evidence Based Library and Information Practice 2007, 2:4 

 87

Works Cited 
 
Cimpl, Kay. “Clinical Medical Librarianship: 

a Review of the Literature.” Bulletin of 
the Medical Library Association 73.1 
(1985): 21‐8. 

 
Eldredge, Jon. “Evidence‐Based 

Librarianship: Levels of Evidence.” 
Hypothesis 16.3 (2002): 10‐3. 21 Nov. 
2007 
<http://research.mlanet.org/EBLlevels.
pdf>. 

 
Eldredge, Jonathan D. “The Randomised 

Controlled Trial Design: Unrecognized 
Opportunities for Health Sciences 
Librarianship.” Health Information 
and Libraries Journal 20 Supp. 1 (2003): 
34‐44. 

 
Mulrow, Cynthia, and Deborah Cook, eds. 

Systematic Reviews: Synthesis of Best 
Evidence for Health Care Decisions. 
Philadelphia, PA: American College of 
Physicians, 1998.   

 
Schnall, Janet G., and Joan W. Wilson. 

“Evaluation of a Clinical Medical 
Librarianship Program at a University 
Health Sciences Library.” Bulletin of 
the Medical Library Association 64.3 
(1976): 278‐83. 

Staudt, Cecilia, Barbara Halbrook, and 
Estelle Brodman. “A Clinical 
Librarians’ Program – an Attempt at 
Evaluation.” Bulletin of the Medical 
Library Association 64.2 (1976): 236‐8. 

 
Wagner, Kay Cimpl, and Gary D. Byrd. 

“Evaluating the Effectiveness of 
Clinical Medical Librarian Programs: a 
Systematic Review of the Literature.” 
Journal of the Medical Library 
Association 92.1 (2004): 14‐33. 

 
Weightman, Alison L., and Jane Williamson. 

“The Value and Impact of Information 
Provided through Library Services for 
Patient Care: a Systematic Review.” 
Health Information and Libraries 
Journal 22.1 (2005): 4‐25.  

 
Winning, M.A., and C.A. Beverly. “Clinical 

Librarianship: a Systematic Review of 
the Literature.” Health Information 
and Libraries Journal 20 Supp. 1 (2003): 
10‐21. 

 
 
 
 
 
 
 
 

 

http://research.mlanet.org/EBLlevels.pdf
http://research.mlanet.org/EBLlevels.pdf