Evidence Based Library and Information Practice Evidence Based Library and Information Practice 2009, 4:3     Evidence Based Library and Information Practice         Commentary    The Call for Evidence Based Practice: Speaking Louder than Words    Ray Lyons  Independent Consultant  Cleveland, Ohio, United States of America  Email: raylyons@gmail.com    Received: 10 August 2009        Accepted: 11 August 2009      © 2009 Lyons. This is an Open Access article distributed under the terms of the Creative Commons Attribution  License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, distribution, and  reproduction in any medium, provided the original work is properly cited.      ʺWhen I use a word,ʺ Humpty  Dumpty said, in rather a scornful  tone, ʺit means just what I choose it to  mean – neither more nor less.ʺ   “The question is,” said Alice,  “whether you can make words mean  so many different things.” (Carroll  Through the Looking Glass 99)                                The appearance of evidence based medicine  and practice has been heralded as a new  paradigm for professional practice in health  care, social work, human resources, and other  fields. Since Thomas Kuhn’s monumental  book The Structure of Scientific Revolutions  brought attention to the word “paradigm”, the  term has taken on a range of meanings, from  the latest management fad to a moderately  different viewpoint to a profoundly new  scientific model. Kuhn’s main thesis is that  science does not advance by a “process in  which more accurate conceptions gradually  replace less accurate ones under the impetus  of experiment” (Buchwald and Smith 365).  Rather, other processes are at play that lead  (usually reluctant) scientists to abandon  current theories and adopt completely new  ones. Yet, it is not these processes that are  most pertinent to the development of evidence  based practice (EBP). Instead, I suggest that  what happens between paradigm shifts ‐ what  might be called “scientific business as usual” ‐  is a more fruitful aspect of Kuhn’s work for  any discussion of evidence‐based practice. In  the sciences, business as usual consists of  continued experimentation and measurement.    In its essence, experimentation is reality  testing. Most familiar to us as the notion of  trial and error, the core idea of  experimentation is the systematic and  objective confirmation of theories in the real  world. Based on the scientific method,  experimentation and related observation  techniques seek to produce evidence in the  form of data that is empirical (objectively  measurable) and verifiable (can be replicated  by others).    For more than a century, valid data has been  central to the function of managerial control in  business and public administration. Its  importance can be traced from data collection  techniques devised by railroad managers in  the 19th century to the appearance of scientific  management and later incarnations as  decision‐support and data‐driven decision  63 mailto:raylyons@gmail.com Evidence Based Library and Information Practice 2009, 4:3  making. The need for verifiable data is also  expressed in the modern business ideal of due  diligence, in accepted standards of auditing  practice, and in the requirement for  transparency in public management  accountability. In its most sophisticated form,  the idea of using data to adjust or refine  operations or conditions appeared as the  concept of “feedback” in general systems  theory in the 1950’s.    These two ideas ‐ verifiable data and feedback  mechanisms for decision and control processes  ‐ are central to all business improvement  domains including operations research,  systems analysis, total quality management,  business excellence, performance  management, process re‐engineering, program  evaluation, project management,  organizational learning, and evidence‐based  management. Thus, in the field of business  management there has been widespread  acceptance of the ideas that valid data ought  to be part of any decision making process, and  that consequences of decisions should be  examined, for the greater part of the previous  century and perhaps even longer.     For this reason it is difficult to conceive how  the core ideas in EBP could be considered to  be radical or revolutionary. Granted, by some  definitions, “paradigm shift” can refer to the  acceptance of new theories and principles by a  profession, rather than to the principles and  theories themselves. Among the helping  professions the ideology of EBP might well  entail enough change to warrant the  designation “new paradigm” (although I  suppose we would need evidence to confirm  this).  Still, the main innovation promoted by  EBP remains the application of established  procedures, namely, conducting incremental  experimentation and refining knowledge  based on results.    More broadly, these procedures are  components of a standard problem solving  process that has been taught for decades to  students in management, engineering, systems  analysis, and operations research.  The process  can be summarized as follows:  1. Define the problem and identify  possible contributing factors.  2. Specify a desired state of affairs.  3. Identify and evaluate alternative  solutions for reaching the desired state  of affairs.  4. Assess the feasibility and suitability in  terms of costs, benefits, and  constraints, of each alternative  solution.  5. Select the most desirable solution and  confirm that its specification is  complete and well‐understood.   6. Prepare a plan to implement the  solution, and then implement it.  7. Collect valid data to monitor results,  comparing both the implementation  and the results to the specifications in  step 2 and step 5.  8. If needed, adjust the implementation  plan and repeat steps 6 to 8.    For several decades, a similar problem solving  process has been embraced by most helping  professions, including medicine, nursing,  social work, psychotherapy, counseling, and  rehabilitation. Standard professional practice  in these fields has required that each client’s  presenting problems be assessed and  diagnosed, that a suitable, professionally  informed treatment plan be developed prior to  treatment, that treatment be meticulously  applied, that client progress be monitored  closely, and that appropriate adjustments to  the delivery of treatment be made based on  the results that are observed.    Evidence based medicine (EBM) was  developed to improve treatment planning by  remedying a perceived gap between scientific  knowledge and professional practice  (Gambrill 339).1 The distinctive aspect of both  EBM and EBP is therefore the objective that  evidence in the form of accurate, valid,  relevant, complete, and balanced  representations of clinical research findings be  used to inform decisions about diagnostics  and treatment planning.2    Arguably, the call for evidence, particularly  the conviction that assuring the welfare of  64 Evidence Based Library and Information Practice 2009, 4:3  clients requires clinicians to use “the current  best evidence”, is the source of authority for  the evidence based movements. Because of  this directive, use of biased information in  clinical care decisions is considered risky and  professionally irresponsible. To avoid bias,  EBM and EBP have developed rigorous  procedures to assure that systematic reviews  are complete, balanced, and impartial (Trinder  9‐10).    This call for evidence can also be heard in  evidence based library and information  practice (EBLIP), especially as it has been  applied to school librarianship, where the call  has been amplified into a “manifesto” (Todd,  “Evidence‐Based Manifesto”). Amid the  clamour, however, school librarianship has  forsaken two central tenets of EBP. First, it has  neglected the requirement for impartiality in  the collection and interpretation of data.  Second, it has diverted the focus of the  evidence based analysis away from client  needs. The result is a topsy‐turvy practice of  collecting evidence for the express purpose of  promoting school libraries as an effective  educational intervention.     Todd writes, “Evidence based advocacy is  clearly an intent of such [school library impact  study] documents, seeking to establish a  strong argument for the support and  continuous improvement for school libraries  … as well as to draw attention to current  issues facing school libraries” (“School  Librarianship” 85).3  This is akin to saying that  “Evidence based medical advocacy seeks to  establish a strong argument for the support  and continuous improvement of the medical  profession … as well as to draw attention to  the difficulties the profession faces.”    Advocacy has no place in EBP and EBM. In  fact, avoiding bias and prejudiced agendas is  the main reason these practices developed in  the first place. Even so, school librarianship  has resorted to “evidence” from a plethora of  advocacy research studies as a way to attempt  to rescue its libraries. Referring to a  promotional publication by publisher and  distributor Scholastic, Todd writes, “the  research studies articulate the range of  dimensions that underpin this [positive]  impact [of school libraries on student  learning], specifying an evidence based  framework for decision making about school  libraries and their continuous improvement”  (“School Librarianship” 86).4     Rather than the impartial systematic reviews  that EBM and EBP insist upon, we are  presented with evidence compiled by a school  library vendor! This alone should serve as a  signal that EBLIP as practiced in the realm of  school librarianship is straying far from the  foundational ideas of EBM. Further, Todd’s  statement reveals the actual agenda of EBLIP  in school librarianship to be the decision about  the survival of the libraries themselves, not  about any survey of alternative interventions  on behalf of students. This misplaced focus is  obvious in Todd’s contention that the central  question for evidence based school  librarianship is, ʺWhy do school libraries  matter today?” (“Evidence‐Based Manifesto”  41).    Neither formulating a biased question that  aims to confirm the relevance and efficacy of  an intervention nor compiling impact studies  or other campaigns in answer to this question  is evidence based practice. These efforts are  pure advocacy and promotion. They are  neither impartial nor client centered. EBP  requires that the effectiveness of school  libraries in meeting specific student needs be  evaluated in comparison with relevant  alternative educational interventions.   Unfortunately, the importance of this type of  comprehensive evaluation is missing from the  “evidence based framework” which school  librarianship has adopted (Todd “School  Librarianship” 86).     Since I happen to believe that reading books is  beneficial to students, I view efforts to support  school libraries as vital. Nevertheless, using  research findings to promote this singular  cause is properly labeled “advocacy research”  or “action research”, not evidence based  practice. Our profession’s misappropriation of  this new buzzword makes us appear careless  65 Evidence Based Library and Information Practice 2009, 4:3  and uninformed. Misuse of the term has  already transferred into mainstream  librarianship, for example in WebJunction’s  new model of “library management  competencies” which urges librarians to “use  evidence‐based management to demonstrate  the value of the library” (Gutshe 2).  In this era  of slogans, factoids, and fads librarianship  ought to be especially aware of the potential  for oversimplification and distortion of  information like this.    Naturally, EBP is struggling with how its key  principles are operationalized and how they  might properly evolve. Some founding  doctrines may well change or disappear in this  process. Nonetheless, I believe EBLIP is too  quick to abandon core EBP principles in favor  of grander, if fuzzier, views of this approach.  Booth recommends that librarianship not  allow “the ideal [core tenets of EBP] … to be  the enemy of the good” (54). He therefore  advocates more lenient definitions of evidence  and downplays the need for systematic  reviews of empirical research. He favours  expanded methods of data collection and  collation to “gain a broader understanding of  the issues and options involved [in a  problem]” (53).  If we want to devise the  dioramic data collection systems that Booth  envisions, we might turn to the field of  operations research to explore mind maps,  rich picture diagrams, and other problem  modeling tools (53‐54). We might also call on  experts in information architecture and  knowledge management to learn how to  organize the information we collect.   However, I do not think that these activities  would rightly fall under the rubric of EBLIP,  nor should they use that label.    Certainly, librarianship should experiment  with any tools and methods that are  reasonably likely to help accomplish its  objectives. Whatever our choices, when we  expand our bag of evidence based decision  making tricks, I suggest that the tools we  assemble retain their original names, so that  we do not misunderstand their functions and  capabilities. In the long run, we might decide  that it is our bag itself that needs to be  renamed.      Notes    1 A few years earlier a similar deficiency had  surfaced in the field of program evaluation:  the need for clearer understanding of  “program theory,” that is, the specific  rationale for designed program interventions,  precisely what programs should be composed  of, to which specific client populations they  were intended, and so on. See Rossi, Lipsey,  and Freeman (165).    2  Besides the “emerging giant of research  information” in EBP, the movement has also  underscored the importance of professional  judgment and client needs and characteristics  (Kitson 1). See also Haynes, Devereaux and  Guyett.    3  I suspect that the phrase “continuous  improvement” appears in Todd’s statement  for its positive connotations. The phrase is  otherwise unnecessary because no “strong  argument” is needed. Continuous  improvement is already part of EBP, as  continued experimentation carried out to  build up a research base and as outcome  monitoring conducted in order to refine how  interventions are applied.    4 As the previous note indicates, a decision  about whether school libraries need  continuous improvement is not under  consideration. Nevertheless, this is an  interesting research question since it is  possible that these libraries are maximally  effective and efficient as they currently  operate. Changes might actually diminish  their efficacy, for all we know.      Works Cited    Booth, Andrew. “The Unteachable in Pursuit  of the Unreadable?” Evidence Based  Library and Information Practice 1.2  (2006): 51‐6. 30 August 2009  66 Evidence Based Library and Information Practice 2009, 4:3  67 .    Buchwald, Jed Z., and George E. Smith.  “Thomas S. Kuhn 1922 – 1996.”  Philosophy of Science 64 (1997): 361‐ 76.     Carroll, Lewis. Through the Looking Glass  and What Alice Found There. New  York: Rand McNally & Co., 1917.    Gambrill, Eileen. “Evidence Based Practice  and Policy: Choices Ahead.”  Research on Social Work Practice 16.3  (2006): 338‐57.    Gutshe, Betha. ed. Competency Index for the  Library Field. Dublin, OH: OCLC  Online Computer Library Center,  2009. 30 August 2009  .    Haynes, R. Brian, P.J. Devereaux, and Gordon  H. Guyett. “Clinical Expertise in the  Era of Evidence‐Based Medicine and  Patient Choice.” Evidence‐Based  Medicine 7 (2002): 36‐8.    Kitson, Alison L. “The Uncertainty and  Incongruity of Evidence Based  Health Care.” International Journal of  Evidence Based Healthcare 6 (2008):  1‐2.    Kuhn, Thomas. The Structure of Scientific   Revolutions. Chicago: University of  Chicago Press, 1962.    Rossi, Peter Henry, Mark W. Lipsey, and  Howard E. Freeman. Evaluation: A  Systematic Approach. Thousand  Oaks, CA: Sage Publications, 2004.    Todd, Ross. “The Evidence‐Based Manifesto: If  School Librarians Can’t Prove They  Make a Difference, They May Cease  to Exist.” School Library Journal 4  (2008): 39‐43. 30 August 2009  .    Todd, Ross. “School Librarianship and  Evidence Based Practice: Progress,  Perspectives, and Challenges.”  Evidence Based Library and  Information Practice 4:2 (2009): 78‐96.   30 August 2009  .     Trinder, Liz. “Introduction: The Context of  Evidence‐Based Practice.” Evidence‐ Based Practice: A Critical Appraisal,  Ed. Liz Trinder. Oxford: Blackwell  Science, 2000.1‐16.    http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/48/118 http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/48/118 http://www.webjunction.org/c/document_library/get_file?folderId=67024497&name=DLFE-16500008.pdf http://www.webjunction.org/c/document_library/get_file?folderId=67024497&name=DLFE-16500008.pdf http://www.webjunction.org/c/document_library/get_file?folderId=67024497&name=DLFE-16500008.pdf http://www.schoollibraryjournal.com/article/CA6545434.html http://www.schoollibraryjournal.com/article/CA6545434.html http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/4637/5318 http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/4637/5318 http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/4637/5318