Microsoft Word - Comm_Ryan.doc Evidence Based Library and Information Practice 2006, 1:4  77 Evidence Based Library and Information Practice     Commentary      EBL and Library Assessment: Two Solitudes?        Pam Ryan  Interim Head, Science and Technology Library  University of Alberta Libraries  Edmonton, Alberta, Canada  E‐mail: pam.ryan@ualberta.ca      © 2006 Ryan. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Introduction    As Booth notes in a recent commentary on  the conceptual and practical links between  performance measurement and evidence‐ based library and information practice  (EBLIP), there has been a discernable creep  among segments of the library community  that seemingly existed as two solitudes:  those in evidence based librarianship (EBL)  circles and those in the library assessment  practitioners group (“Counting What  Counts” 63). Beginning in 2005, individuals  from one group have been showing up at  the others’ conferences and events to discuss  their methods, frameworks and processes.   Are these separate movements within  librarianship forming theoretical bridges? Is  some sort of merger, fusion or takeover in  the future? Or are these simply collegial  discussions about our evidence‐based  leanings in librarianship? Is all evidence‐ based practice in librarianship, that is, some  form of research‐derived data guiding the  decision‐making of practitioners, subject to  the theoretical framework proposed by the  EBL movement? If so, are the tools and  practices of library assessment rigorous  enough, by EBL theory standards, to afford  equal participation in these evidence‐based  practice circles or will assessment  practitioners forever be relegated to wallow  as devotees of the lowest cells of Eldredge’s  (2002) exploratory research evidence chart?  If we are just now coming to understand our  similarities, will our differences be enough  that we wish never to be one movement and  therefore forever remain as two solitudes in  evidence‐based practice?  Background     The EBL and library assessment movements  grew up separately but at approximately the  same time, with EBL first appearing in the  literature in 1995 in an editorial by Margaret  Haines (Booth Evidence Based Practice for  Information Professionals 8) and the initial  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:4  78 calls for a “culture of assessment” in  academic libraries appeared in articles by  Stoffle in 1996 and Lakos in 1999.  Library  assessment has its roots in the need for  academic libraries to redefine measures to  show the library’s real contributions to the  communities they serve and to develop  collections and services based on user needs  and preferences. This user‐centred  movement shares many of the research tools  and methodologies of Marketing, Business,  and other disciplines of the social sciences.  Evidence Based Librarianship developed  out of the practice of health librarians’  participation in evidence based medicine  (EBM) initiatives and turning that  experience to a reflective review of the use  of research evidence in their own  professional decision‐making practices.     Definitions and Differences    Even though the definition of EBL has  evolved since the earliest of EBM‐influence  days, the core of EBL practice still rests on  finding in the research literature the best  evidence to answer a question or problem  and then appraising, applying and  evaluating specific interventions.  The most  recent definition of EBL, where the name of  the movement is currently proposed as  Evidence Based Library and Information  Practice (EBLIP), is that it:    “ʺ….seeks to improve library and  information services and practice by  bringing together the best available  evidence and insights derived from  working experience, moderated by  user needs and preferences. EBLIP  involves asking answerable questions,  finding, critically appraising and then  utilizing research evidence from  relevant disciplines in daily practice. It  thus attempts to integrate user‐ reported, practitioner‐observed and  research‐derived evidence as an  explicit basis for decision‐making.ʺ  (Booth “Counting What Counts” 65)     The assumption is that an answer is  available in the research literature of  librarianship or related fields and that  knowing how to evaluate research literature  will guide the practitioner to the best  answer. Looking to the literature is the first  source when a question is formed. However,  the understanding in the EBLIP process that  evidence is to be “moderated by user needs  and preferences” shows some common  ground with the library assessment  approach, even though the definition  doesn’t explicitly speak to how those needs  are determined, evaluated or assessed.    A definition of library assessment work that  the assessment community of practitioners  adheres to is elusive. There appears to be no  standing definition in common use. A  helpful, although broad, definition used to  describe the topics of interest for the  libraryassessment.info community discussion  blog is:    “…any activities that seek to measure  the library’s impact on teaching,  learning, and research, as well as  initiatives that seek to identify user  needs or gauge user perceptions or  satisfaction. The overall goal is data‐ based and user‐centered continuous  improvement of library collections and  services.” (Kyrillidou and Ryan)    While Booth’s recent article (“Counting  What Counts”) focuses on the links between  performance measurement and evidence‐ based library and information practice, it  should be noted that performance  measurement is just one evaluative  approach of the many evaluative methods  available in the library assessment toolkit.  Bertot provides a good summary of selected  approaches to evaluative research,  assessment’s parallel to Eldgredge’s levels  Evidence Based Library and Information Practice 2006, 1:4  79 of evidence chart, if you will, with examples  of where the contact with library users is  made.    In library assessment, there is a reliance on  the literature for understanding best  practices in qualitative methodology  processes (i.e. usability testing, focus groups)  and the use and sharing of tested, reliable,  and standardized tools (i.e. questionnaires,  tests, evaluation forms). However, there is  no expectation of answers in the literature.  In assessment work, evidence can only be  local. The nature of assessment work is that  it circles around what users are experiencing,  so the appropriate study design is  frequently a qualitiative, user‐engaging  method. Only your users, or the usage trails  they leave behind in your systems, can tell  you where your web site isn’t up to snuff,  that your Philosophy collection isn’t being  used, how your study space is insufficient,  or how your staff are perceived. While it is  still the role of the practitioner to determine  how to fix problems, library assessment  practice dictates that problem‐identification  and service satisfaction measures can only  come from your library’s community of  users.     Common Ground and Work Ahead    One area where those involved in EBL and  library assessment could work  collaboratively would be in defining areas  where the EBL model and library  assessment practices are best suited, where  they overlap, and where differences excel or  fall short.  For example, an issue that needs  further discussion is how the EBL literature‐ immersion process of “Formulate, Search,  Appraise, Assess, Evaluate” (Eldredge 2006  342) fits into the innovation cycle of new  service development. With continuous  improvement at the core of library  assessment work, more often than not,  practitioners are working on new service  development or new ways of providing  access to collections based on their  systematic work in determining user  satisfaction and local user needs. This is  where library assessment work excels and  where its methods are tightly integrated into  the new service development process. With  the time lag of the research lifecycle, is the  EBL process relevant in today’s dynamic  Web 2.0‐influenced service environment? If  so, what does that process model look like?  Where does the Google‐esque service  development model of rapid, imperfect  development, beta launch, user‐engagement  in evaluation, and then modification based  on user take‐up and feedback, fit within the  EBL theoretical framework? Is EBL, so  reliant on research literature results for  decision, only relevant in traditional or  pedagogical areas of librarianship where  change might wait for the research cycle?     To date, progress in the EBL movement has  been made by a group of innovative, like‐ minded individuals mustering early‐ adopting, like‐minded and interested  individuals. This is where individuals in  EBL are meeting with individuals in library  assessment. Our discussions on all aspects  of librarianship that include using evidence,  data, evaluation and research methods in  our practice need to continue as many  questions remain. We need not expect or  hope that the outcome is one theoretical,  evidence‐based practice umbrella. A good  start is already underway in the  acknowledgment that we need awareness  and understanding of each others’ methods,  frameworks and processes and that there is  keen interest in working together to move  forward.    Acknowledgement    This commentary is based, in part, on  material previously presented at the 2006  Canadian Library Association Conference:    Ryan, Pam. “Good Libraries Use Evidence:  Cultivating a Culture of Assessment and  Evidence Based Library and Information Practice 2006, 1:4  80 Evidence‐Based Decision‐Making in  Academic Libraries.” Canadian Library  Association Conference. Ottawa, Ontario.  June 2006  .      Works Cited  Bertot, John Carlo. “Assessing Digital  Library Services: Approaches, Issues, and  Considerations.” International Symposium  on Digital Libraries and Knowledge  Communities in Networked Information  Society (DLKCʹ04). University of Tsukuba,  Tsukuba, Ibaraki, Japan. March 2004. 3  November 2006  .  Booth, Andrew. “Counting What Counts:  The Link Between Performance  Measurement and Evidence Based  Information Practice.” Performance  Measurement and Metrics 7.2 (2006): 63‐74.    Booth, Andrew, and Anne Brice, Editors.  Evidence‐Based Practice for Information  Professionals: a Handbook. London: Facet  Publishing, 2004.                                   Eldredge, Jonathan. “Evidence‐Based  Librarianship: The EBL Process.” Library Hi  Tech 24.3 (2006): 341‐54.    Eldredge, Jonathan. “Evidence‐Based  Librarianship: Levels of Evidence.”  Hypothesis 16.3 (2002): 10‐13.   Lakos, Amos. “The Missing Ingredient:  Culture of Assessment in Libraries.”  Performance Measurement and Metrics 1.1  (1999): 3‐7.    Kyrillidou, Martha, and Pam Ryan.  libraryassessment.info. 3 November 2006 <  http://libraryassessment.info/?page_id=7>.    Stoffle, Carla, Robert Renaud and Jerilyn R.  Veldof. “Choosing Our Future.” College and   Research Libraries 57.3 (1996): 213‐25.         http://www.cla.ca/resources/cla2006/Presen http://www.kc.tsukuba.ac.jp/dlkc/e%E2%80%90proceedings/ http://libraryassessment.info/?page_id=7