Microsoft Word - Comm_Grefsheim.doc Evidence Based Library and Information Practice 2007, 2:3  123 Evidence Based Library and Information Practice     Commentary    Making a Commitment to EBLIP: The Role of Library Leadership      Suzanne F. Grefsheim, MEd, MSLS   Director, NIH Library  National Institutes of Health  Bethesda, Maryland, United States  E‐mail: grefshes@mail.nih.gov    Jocelyn A. Rankin, PhD, MLn  Chief, Public Health Library and Information Center  Centers for Disease Control and Prevention  Atlanta, Georgia, United States   E‐mail: jrankin@cdc.gov    Susan C. Whitmore, MS, MSLS  Chief, Information and Education Services Branch, NIH Library  National Institutes of Health  Bethesda, Maryland, United States  E‐mail: whitmors@nihrrlib.ncrr.nih.gov      Received: 14 June 2007    Accepted: 04 July 2007      © 2007 Grefsheim, Rankin, and Whitmore. This is an Open Access article distributed under the terms of the  Creative Commons Attribution License (http://creativecommons.org/licenses/by/2.0), which permits  unrestricted use, distribution, and reproduction in any medium, provided the original work is properly  cited.      Introduction    Several commonly held assumptions form  the basis for the information profession’s  emerging commitment to advance evidence  based library and information practice  (EBLIP).  First, librarians should practise  according to the same principles advocated  for library users — that is, base their  information practice decisions on the best  possible evidence (Dalrymple et al; SLA  Research Committee and Marshall; Brice  and Booth; Eldredge).  Second, the body of  evidence does not exist currently to make  finding evidence in the literature a realistic  possibility in most cases (Booth; Glynn).  Third, many practising librarians are not  comfortable designing and conducting their  mailto:grefshes@mail.nih.gov mailto:jrankin@cdc.gov mailto:whitmors@nihrrlib.ncrr.nih.gov http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:3  124 own research (Glynn).  And fourth,  employers need to create conditions that  encourage research in the workplace  (Hallam and Partridge; Crumley and  Koufogiannakis; Cleyle).     We have focused on the fourth assumption,  that library management and administration  play a pivotal role in the success of  widespread adoption of EBLIP.  For  example, the Association of Research  Libraries’ recent two‐year study on the  status of assessment in research libraries  found that certain organisational factors  appeared critical for effective, sustainable  library assessment projects. Among these  factors were library leadership,  organisational culture, identifying  responsibility for assessment, library  priorities, sufficiency of resources, data  infrastructure, and assessment skills and  expertise (Hiller et al).    In their frequently cited article, Hallam and  Partridge suggested that employers have the  following responsibilities for EBLIP:  providing opportunities and resources;  encouraging ongoing learning to maintain  or develop skills; providing training  opportunities for graduate students in  library and information science (LIS);  advising graduate program LIS faculty on  needs; serving as guest lecturers for LIS  programs; including evidence based practice  as part of staff appraisal; encouraging more  experienced staff to mentor novices; and  providing opportunities for collaboration  with academic researchers (Hallam and  Partridge). We believe that, to control their  own destiny, library leaders must be much  more active in advancing EBLIP among  their staff.  On a broad range of issues, they  need to develop the evidence that supports  shifts in resources and services and justifies  emerging roles and innovative/experimental  services, or they risk having decisions about  their future made for them by others in their  organization.   Employers taking a proactive role in  creating an EBLIP culture benefit at several  levels, both in more robust customer  support provided by staff members and also  in strengthened capacity to respond to  organizational requirements.  Health science  librarians with working knowledge of  evidence based methods are well prepared  to support evidence based practice for  clinical and research staff in their larger  institution.  They are also inclined to engage  in evidence based information practice to  inform their own practice‐related decision‐ making.  At the organisational level, in  today’s rapidly evolving information  environment, libraries are routinely  required to conduct studies to assure they  are both meeting the needs of users and  achieving the expectations of their parent  organization in order to justify continued  funding.  Typical studies include customer  needs assessments and satisfaction surveys;  usability studies; program evaluation,  outcomes and impact studies; systematic  performance measurement approaches such  as the “balanced scorecard”; cost/benefit  and trend analyses.  While hiring an outside  consultant is an option for large‐scale  studies, employers also need internal staff  with the knowledge and skills to design,  conduct and appraise studies for the wide  range of questions that routinely arise in the  practice of librarianship.      One Library’s Commitment to Research    We offer the experience of the National  Institutes of Health (NIH) Library in  Bethesda, MD as an example of what  employers can do to better prepare their  staff to find the evidence to answer  questions that arise in practice and perhaps  even help assure the future of the library.   The NIH Library is a biomedical research  library with a staff of 56 full‐time employees  and 20 contractors that supports a major U.S.  government agency engaged in translational  bench‐to‐bedside research.  The NIH itself  Evidence Based Library and Information Practice 2007, 2:3  125 has over 20,000 employees, about half of  whom are in the scientific and clinical  positions that constitute the Library’s  primary user group.  Users include  researchers and fellows in the laboratories  and clinics as well as the science  administrators working in the various grant  administration programs.  The NIH  Library’s virtual services and collections are  comparable in size and scope to a large  academic biomedical library.     Just as is frequently the case with busy  health care practitioners (Coumou and  Meijman), practice‐related questions  encountered by NIH Library staff also were  often left unanswered.   Only a small  number were addressed each year, and  those only if they fit into a regular user  survey — either the large‐scale rigorous  biennial user study or smaller annual Web  or print surveys targeted to assess specific  services.     Crumley and Koufogiannakis categorized  “librarianship questions” as falling into one  of the following six domains of practice  (Crumley and Koufogiannakis):  • Reference/enquiries – providing  services and resources that meet the  needs of users  • Education – finding the best  methods to educate users  • Collections – building high‐quality  collections that meet the needs of  users  • Management – managing people  and resources within the  organisation  • Information access and retrieval –  creating better systems   • Marketing and promotion –  promoting libraries to users and  non‐users    Questions in all these domains had arisen at  the NIH Library in recent years.  The library  leadership team realized that informing  library practice by surveys alone would not  produce answers to many of the questions.   This recognition of the need to augment  practice research was reinforced by the  results of an environmental scan of the NIH  that was commissioned as part of the  preparations for the revision of the library  strategic plan.  Influential stakeholders at  the highest levels within NIH were  interviewed as part of the scan. One of the  key findings noted by the consultant who  conducted the interviews was that the  library staff needed to be doing its own  research into user needs and information  seeking behavior. As a result, evidence  based information practice became a major  focus of the library’s vision statement in the  2005‐2009 strategic plan.      Positive Environmental Factors     To create the conditions that would make  our vision a reality, the NIH Library  leadership team planned and implemented  a systematic approach to fostering EBLIP  that was compatible with the library’s long‐ standing commitment to be a learning  organization. The goal was to enable staff to  routinely apply evidence in decision‐making.   It was determined that 38 staff members  were in positions that had potential to  benefit from EBLIP training as follows: all 32  librarians, four of the 10 library technicians,  and two of the four IT professionals. Their  work raised answerable library research  questions and they were in positions best  suited to answer them.      A survey of these individuals revealed a  typical health sciences library staff — quite a  few library staff members had scientific  research experience and more than half had  working experience with research initiatives.  However, few if any had ever designed the  type of study required for “librarianship  questions”.        Evidence Based Library and Information Practice 2007, 2:3  126   Motivational Factors for Doing EBLIP Research                                                                                                        Percent                     Overall                                                                                                  Ranking as 4‐5          Rank Order                                                                                                        (n=33)                  Training  64%  4.84  Opportunity to collaborate with library staff  61%  4.60  Opportunity to present at professional  meetings  58%  4.52  Release time  45%  3.68  Mentoring  39%  3.96  Opportunity to present to other library staff  33%  3.84  Inclusion in performance appraisal  33%  3.68  Special funding  21%  2.80    Table 1.  On a scale of 1‐5, with 5 as most important, staff rated these motivational factors.      We also wanted to understand what might  help inspire NIH library staff to perform  EBLIP research.  The leadership team asked  the staff about the environmental and/or  administrative factors that were most  important to them.  Of the eight factors  suggested, training was most valued: all the  staff participating in the EBLIP project  wanted a basic introduction to EBLIP, and  training in quantitative and qualitative  research methods that could be used to  answer practice questions.  Also important  to these staff were opportunities to  collaborate with colleagues and to present at  professional meetings. Release time was also  highly valued by some, although overall it  fell into the middle range of the rankings.   The least motivating factors at our library  were special funding, presentations to other  library staff, and adding research as a  performance appraisal metric [Table 1].  We concluded that an environment  supportive of EBLIP would include formal  training in research skills that builds on  existing expertise as well as support and  release time for research projects, and team  mentoring as projects evolved.  Recognition  for staff efforts and accomplishments was  considered as well. A celebratory Library  Research Festival Day was discussed and  librarians were encouraged to submit their  projects for presentation in the larger annual  NIH Research Festival, an annual three‐day  event with poster and paper sessions that  showcase current research of NIH staff in all  the institutes and centres.     EBLIP Training for Library Staff    Prior to developing the training plan, library  leadership worked with the various staff  teams to identify several of the librarianship  questions that had arisen in the previous six  months.  These questions [Table 2] provided  a focus for exercises used in both the  introductory research class and the  qualitative research methods course.    The first class provided an overview and  rationale of the characteristics of evidence  based research for information practice.  The  research steps were outlined, including  posing the question, selecting the  methodology and study participants,  analyzing the data and reporting the results.   Using a Research Jumpstart Worksheet that  took them through the steps in the research    Evidence Based Library and Information Practice 2007, 2:3  127       Recent Practice Questions at the NIH Library    Domain  Question and Research Method  Information  access & retrieval  1. What features and capabilities do NIH researchers want in a federated  search engine? Method: exploratory formative research using focus groups  and key informants  Reference  2. Did selective purchase of articles vs. borrowing from other libraries impact  customer satisfaction with document delivery services? Method: program  evaluation with a comparative study of customer satisfaction as measured by  an online survey administered for 2 weeks in December 2005 and for 2 weeks  in February 2007.  Management  3. Did the transition to paraprofessional staffing at the Information Desk  affect user satisfaction and/or staffing efficiencies? Methods: two‐part  program evaluation with a comparative study of customer satisfaction with  Information Desk services as measured by a survey in February 2006 and  February 2007; and a cost/time analysis by sampling paraprofessional and  librarian support of desk services for one week every other month during  2007.  Reference  4. What is the value of an informationist assigned to a health sciences team?  Methods: two‐part exploratory research using the diary method to record  critical incidents related to their work both retrospectively and prospectively;  and key informant interviews with customers to discover researchers’  perceptions of informationists’ roles, and their contributions and challenges  as members of research teams.  Collections  5. Which subject areas of print monographs are the most frequently used at  the NIH Library? Method: a baseline retrospective cohort study of  monographic collection use by examining 2006 circulation and interlibrary  loan borrowing records in the Library’s integrated library system.      Table 2.  EBLIP questions categorized by Crumley and Koufogiannakis’ practice domains.      process, participants broke into small  groups to develop their research questions.   After the training, teams worked with the  instructor to further refine their questions  and explore possible methods.  The  instructor was available to these groups by  e‐mail, phone and in person in the months  following the class to respond to questions  and monitor progress.  As all the research  studies progressed, the teams maintained  contact with the instructor and also  conferred with other experienced  researchers on staff who volunteered to   serve as mentors.    In contrast to the quantitative studies that  are very common in the NIH clinical  research setting, EBLIP questions best  answered using qualitative research  methods raised a level of discomfort among  staff participants.  We decided to provide in‐ depth training in qualitative methods for  those team members currently planning  qualitative studies as well as for others who  might use these methods in future studies.   The result was a formal, university‐affiliated  Evidence Based Library and Information Practice 2007, 2:3  128 graduate course in qualitative methods with  both on‐site and distance learning  components.  The course included lectures;  extensive readings; opportunities to practise  qualitative methods; assignments to design  and implement practical studies; and  assistance and mentoring with study design  and data collection, organization, and  analysis.  In addition, for complex  quantitative studies, statistical support was  available from course instructors and other  experienced researchers at NIH.      Conclusion  Employers can and should do more than  enable and encourage their staff to engage in  evidence based practice.  By proactively  providing a supportive framework for  EBLIP practice, library leadership can  successfully engage staff in EBLIP thinking  and small research studies.  It is to the  benefit of the employer as much as the  employee that valid answers are found to  the questions that arise in practice.      Is the NIH Library’s EBLIP initiative  sustainable?  Will the team study results  make a difference in practice?  Based on our  experience, we believe library staff teams  can be successful with EBLIP research  projects.  Those teams that have completed  their studies can point to findings that  support their current practice and/or  suggest new directions.  By implementing a  process to 1) identify existing skills, 2)  understand motivational factors and  respond to these, and 3) provide a  supportive training and mentoring  environment, the NIH Library experience is  an example of a staff development program  designed to provide practitioners with the  knowledge, skills and attitudes to design  and conduct a variety of quantitative and  qualitative research studies that will answer  “librarianship questions”.      Our experience indicates that librarians with  some training in the research process and  ongoing mentoring can indeed design and  conduct studies to learn valuable  information that will help them introduce  new services; improve collection  development; and better understand the  information‐seeking behavior and customer  services needs of users in general as well as  specific target groups so the right  information reaches the right person at the  right time.    Acknowledgement    Based on a presentation at the Evidence  based Library & Information Practice 4th  International Conference, Durham, North  Carolina, U.S.A., 7 May 2007.      Works Cited  Brice, Anne and Andrew Booth. “Practical  Issues in Creating an Evidence Base for  Library and Information Practice.”  Library and Information Research  News 30.94 (2006):52‐60.   Booth, Andrew. “What Research Studies Do  Practitioners Actually Find Useful?”  Health Information and Libraries  Journal 21.3 (2004):197‐200.  Cleyle, Su. “EBL is Hot, Help It Sizzle.”  Evidence Based Library and  Information Practice 1.3 (2006): 95‐97.     Coumou, Herma C. H.and Frans J. Meijman.   “How Do Primary Care Physicians  Seek Answers to Clinical Questions? A  Literature Review.”  Journal of the  Medical Library Association 94.1  (2006):55‐60.      Crumley, Ellen and Denise Koufogiannakis.  “Developing Evidence‐based  Evidence Based Library and Information Practice 2007, 2:3  129 Librarianship: Practical Steps for  Implementation.” Health Information  and Libraries Journal 19.2 (2002):61‐70.    Dalrymple, Prudence W., Jacqueline D.  Bastille, Jana Bradley, et al. (1995).  Research Policy Statement of the  Medical Library Association: Using  Scientific Evidence to Improve  Information Practice.  9 July 2007    Eldredge, Jonathan D. “The Challenges  Ahead for Evidence‐based  Librarianship.” Bibliotheca Medica  Canadiana 23.2 (2001):57‐60.   Glynn, Lindsay. “The Current State of EBL.”  Evidence Based Library and  Information Practice 1.2 (2006):1‐2.    Hallam, Gillian Clare and Helen Partridge.   “Evidence Based Library and  Information Practice: Whose  Responsibility Is It Anyway?”  Evidence Based Library and  Information Practice 1.3 (2006):88‐94.    Hiller, Steve, Martha Kyrillidou and Jim Self.   “When the Evidence Isn’t Enough:  Organizational Factors That Influence  Effective and Successful Library  Assessment.”  Evidence‐based Library  and Information Practice 4th  International Conference, Durham,  North Carolina, United States.  7 May  2007.  SLA Research Committee and Joanne G  Marshall. (2003). “Influencing Our  Professional Practice by Putting Our  Knowledge to Work.” Information  Outlook 7.1 (2003):40‐4.       http://www.mlanet.org/research/science2.html http://www.mlanet.org/research/science2.html