Microsoft Word - Comm_Booth.doc Evidence Based Library and Information Practice 2006, 1:2  51 Evidence Based Library and Information Practice     Commentary    The Unteachable in Pursuit of the Unreadable?       Andrew Booth  Reader in Evidence Based Information Practice  School of Health and Related Research (ScHARR), University of Sheffield  Sheffield, United Kingdom   Email: A.Booth@sheffield.ac.uk       © 2006 Booth. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.  Introduction  Advocates of evidence based library and  information practice (EBLIP) are typically  enthusiastic of temperament and  beguiling in argument.  It is all too rare to  encounter either outright criticism of, or  even measured caution towards, the  paradigm.  Reasons for this are clear;  EBLIP appeals to the scientific rationality  that underpins much of our day‐to‐day  work.  It imposes a semblance of order on  what is otherwise chaotic, and is  exemplified when we (only half‐jokingly)  say, “Of course it would all work perfectly,  if it weren’t for our users.”  However, the  real world is messy and uncertain, and  problems proliferate.    For some professions, medicine being the  foremost example (Hayward), uncertainty  is a natural state of affairs. “Is this drug,  which has been shown to benefit patients  on average, likely to be beneficial in my  patient who is older, has a more advanced  stage of disease, and has an additional co‐ existing condition?”  Library and  information practice is not so comfortable  with uncertainty.  As a profession we tend  to be optimistic, clinging to a linear and  mechanical model of information transfer  between research and practice, by which  knowledge is simply moved from one  place to another.  Our underlying  assumption is that if an idea is good  enough, it will be used (Nutley, Walter,  Davies). A corollary to this is that when  we ourselves face a knowledge gap, we  believe we can address this simply by  acquiring more information – the so‐called  information deficit model (Marteau,  Sowden, Armstrong).  The Unteachable  This editorial deliberately evokes Oscar  Wilde’s description of fox‐hunting, what  he terms “the unspeakable in full pursuit  of the uneatable” (Wilde). It highlights  two overwhelming barriers to EBLIP ‐ one  at the consumption end and the other at  the production end of the evidence chain;  namely that librarians are ‘unteachable’,  and systematic reviews are ‘unreadable’.   Whether EBLIP proves as futile a pursuit  as fox‐hunting depends on whether these  barriers can be overcome.    Of course there is an element of licence to  both appellations.  Librarians are not  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:2  52 inherently ‘unteachable’; as a profession  we show ourselves ever ready to adapt  and to respond to new organisational  imperatives.  However, as hinted above,  we do this by addressing an information  deficit, by absorbing new data like a  sponge.    Critical appraisal, “the process of  assessing and interpreting evidence by  systematically considering its validity,  results, and relevance to an individual’s  work” (Last), is a building block of  evidence based practice.  Frequently,  when taught such skills for the first time,  healthcare or information practitioners  expect to arrive at some authoritative  answer – life, the universe, and everything  equals 42 (Adams).  When, in contrast, the  session concludes with limited certainty –  with, perhaps, more questions than  answers – most healthcare professionals  can handle this.  This is where  ‘unteachable’ comes into the picture.   Library and information practitioners  respond to the challenge of critical  appraisal in their time‐honoured fashion –  by seeking to learn more about research  design, by becoming more familiar with  statistics, and by attempting to learn the  terminology and concepts associated with  the specific context in which the research  has been conducted.  This quest, this  appetite for knowledge, is potentially  insatiable.  As a consequence, most library  and information professionals never feel  fully equipped to meet the technical  challenges of evidence based practice.  In  fact the more they learn, the more they  recognise that there is much more yet to  learn.   Acquiring Self‐Efficacy  So what is the solution? Certainly the  answer is not to equip librarians with all  they need to know.  If we add formal  training in research design and statistics,  and possibly sector‐specific terminology,  to the array of professional skills we  already require, we will produce a  profession that enjoys only a handful of  years of competence immediately prior to  retirement!  Instead, librarians need to  acquire self‐efficacy, defined as “the belief  that one can perform successfully the  behaviour required to produce designated  types of performance” (Sadri and  Robertson 139).  The emphasis is therefore  not on what we know, but on equipping  ourselves with as many strategies as  possible to handle not knowing.  Such  strategies may indeed include different  ways of research and discovery. However,  they will also comprise different ways of  acknowledging our ignorance and  techniques for making decisions when  faced with limited information.  These  might include tools for formal decision‐ making and informal sharing of ‘rules of  thumb’, grounded in a practical working  knowledge of the quality and quantity of  our knowledge base.      Thus, library and information  practitioners are ‘unteachable’ to the  degree that they rely too much on a single  strategy for addressing an ‘information  deficit’.  Only by acquiring strategies for  handling uncertainty ‐ an uncertainty  endemic to a field where the evidence base  is of poor quality, where researchers do  not answer the questions that practitioners  ask, and where insights are scattered  across the literature of numerous  disciplines – will they be able to fully  engage with evidence based library and  information practice.  The Unreadable?     While the accusation that library and  information practitioners are ‘unteachable’  requires brief justification, describing  systematic reviews as ‘unreadable’ may  appear downright perverse. After all, are  not most systematic reviews structured  documents with clear statements of  implications for research and practice?  Furthermore, as an erstwhile champion of  systematic reviews in general, and  specifically within library and information  Evidence Based Library and Information Practice 2006, 1:2  53 practice, I represent an unexpected source  of criticism.  The systematic review model  does have limitations – a refreshing aspect  of the systematic review community is its  facility for self‐scrutiny – but it is  fundamentally sound.   However,  systematic reviews expend extensive  resources and should be pursued only if  there is a reasonable expectation of  furnishing some ‘answer’ and hence of  achieving ‘closure’.    Several factors reduce the likelihood of a  useable answer in the field of library and  information practice when compared with  other disciplines. As previously remarked,  our evidence base is poor with  comparatively few experimental studies.  As a consequence, systematic reviews  steer between a Scylla of very precise  reviews addressing tightly focused  questions (by which we learn more and  more about less and less, until we know  everything about nothing!) and a  Charybdis of broad overviews containing  studies which are so dissimilar as to make  comparison and synthesis almost  impracticable.  Similarly, the diffusion of  our potential evidence base across many  disciplines tends towards fragmentation,  rather than consolidation.     The real drawback of systematic reviews,  paradoxically the source of their  methodological strength, is the quality  assurance offered by the review process,  regardless of outcome. Imagine having the  same quality assurance mechanisms in  place for automobile manufacture  regardless of whether the resultant car  will participate in the Paris‐Dakar rally or  never leave the showroom.  Reviewers are  required to follow the same phases of the  review process whether they retrieve and  synthesise numerous high quality primary  research studies, whether they identify  only poor quality research, or whether  they find no eligible studies whatsoever!   Herein lies a paradox; we need a fairly  good idea about whether a review topic is  viable and cost‐effective before we  undertake our review.  At the same time  we must not have any a priori suspicion of  what the findings will be, otherwise we  are likely to introduce bias.     As a consequence, there is a very strong  likelihood that we will continue to witness  the production of well‐conducted, well‐ written systematic reviews where the  bottom line is that there is no bottom line.   Such systematic reviews are readable in  the technical sense but are ‘unreadable’ to  the extent that they offer little or no  pragmatic guidance for library and  information practice. Practitioners will feel  correspondingly little allegiance to an  otherwise high‐quality ‘academic’ product  and will likely concentrate their precious  professional reading time on material that  is more immediately rewarding.   Diorama, not Microscope?  What, then, is the alternative? As a  fundamentally pragmatic profession we  continually seek answers to practical  questions to benefit our users. We require  breadth of vision (a holistic view that  embraces multiple perspectives), rather  than depth (as offered by systematic  reviews). We need a diorama,* not a  microscope!    How might this work? The library and  information practitioner works with  stakeholders to identify a fully‐rounded  view of a real‐life problem. This might  involve a genuinely consultative process  such as a focus group or group interview.  Alternatively the practitioner may piece  together a series of individual two‐ dimensional viewpoints (e.g., the reader  and the professional, or the manager and  the funder) to create a semblance of the  entire problem. The aim is to identify  issues, potential causes, interrelationships,  and solutions to model – perhaps using  such techniques as concept mapping or  mind mapping (Ferrario). They then  explore the literature to populate their  basic models with evidence from research  Evidence Based Library and Information Practice 2006, 1:2  54 and other sources such as good practice,  surveys, and service evaluations. They  employ a best available evidence approach  (Eldredge). Lower quality evidence is  continually overwritten by higher quality  evidence when it is identified, or when  new evidence appears. They do not  employ a comprehensive and ultimately  fruitless attempt to gather high‐quality  evidence on a single topic. Instead, they  try to gain as many insights as are feasible  for the entire problem. Beginning with a  series of rapid searches around possible  causes, there follows a series of searches  around likely interventions and  alternatives, perhaps culminating in brief  searches on how impact has been  evaluated. In short, they pursue related  approaches variously anchored in the  population, interventions/comparisons, or  outcomes separately, instead of seeking  some ‘holy grail’ document that contains  exactly what they want. Boosted by this  multiple array of relevant evidence, the  practitioner gains a broader  understanding of the issues and options  involved and thus makes a better,  evidence‐informed decision.     To illustrate, we may be considering  introduction of a virtual reference desk  alongside (or even as an alternative to)  traditional face‐to‐face reference services.  We could conduct a series of rapid  searches to look at the context within  which such services are being considered  together with their claimed advantages  and limitations. We could seek to identify  a range of proposed models, such as e‐ mail or chat‐based reference service, in  parallel to existing services or as a means  of extending availability across time or  geographic space. We could look at  qualitative data reporting staff or reader  views of such services. We may identify  published evaluations that have examined  implementation of such services. While  recognising that results may be context‐ specific, we may learn a considerable  amount about pertinent issues and  possible metrics for success. Of course if  the fruits of our labours are particularly  productive, we will naturally encounter  any rigorous studies with the potential to  answer that important ‘effectiveness’  question. More importantly, however, if  we do not find any sufficiently rigorous  studies, we still have a considerable body  of evidence to inform our pragmatic  decision. We have not allowed the ideal to  be the enemy of the good.     These Route maps for Evidence based  problem Solving (tentatively assigned the  working title “RESolve”) become living  organic documents to be shared, edited,  and augmented as other colleagues bring  additional insights to bear. Unlike  systematic reviews, they require little  technical knowledge either to interpret or  to use in practice. They can be locally  owned, adapted and modified. Where  rigorous studies or systematic reviews do  exist, these underpin specific nodes on the  mind map or concept map that address  very focused questions.  The Way Forward?  Cynics may identify this suggestion as yet  another attempt to breathe life into a  paradigm that continues to fit  uncomfortably within library and  information practice. Evidence products  such as guidelines (Booth “From EBM to  EBL”), critically appraised topics (Booth  “Research”), and systematic reviews  (Booth “Health Librarians”) have been  proposed as evidence based tools to  address the research‐practice gap within  our profession. While the visual format of  these Route maps reflects established  techniques of concept mapping, their  theoretical base draws on Realist Synthesis  (Pawson et al.). However, the context for  their use is far more pragmatic and ‘front‐ line’ than the originators of Realist  Synthesis ever envisaged. Producing an  accumulating body of knowledge that  requires little technical knowledge,  acknowledges uncertainty, and presents  key messages in an easily navigable  Evidence Based Library and Information Practice 2006, 1:2  55 format offers the potential to make library  and information professionals ‘teachable’  and the products of their evidence  syntheses ‘readable’!     Note  * In this context a diorama is “a model  which shows a situation . . . in a way that  looks real, because the height, length, and  width of what is being shown are  accurately represented in comparison with  each other.”  Works Cited  Adams, Douglas. The Hitchhikerʹs Guide  to the Galaxy.  Chapter 27.   .    Booth, Andrew.  ʺFrom EBM to EBL: two  steps forward or one step back?ʺ  Medical Reference Services Quarterly  21.3 (2002): 51‐64.     ‐‐‐.  “Research.”Health Libraries  Review 17.4 (2000): 232‐5.     ‐‐‐. “Will Health Librarians and Related                  Information Workers ever Work   Together to Create an International  Network?” Health Information and  Libraries Journal 18.1 (2001): 60‐3.     Eldredge, Jonathan D. “Evidence‐Based  Librarianship: What Might we Expect  in the Years Ahead?” Health  Information and Libraries Journal 19.2  (2002): 71‐7.    Ferrario, Catherine G. “Developing  Nursesʹ Critical Thinking Skills with  Concept Mapping.” Journal for  Nurses in Staff Development – JNSD  20.6 (2004): 261‐7.     Hayward, Richard D. “Balancing  Certainty and Uncertainty in Clinical  Medicine.”  Developmental Medicine  & Child Neurology  48.1 (2006): 74‐7.  Last, John M., ed.. “Critical Appraisal.” A  Dictionary of Epidemiology. 2nd ed.  New York: Oxford University Press,  1988.    Marteau, Theresa M, Amanda Sowden,  and David Armstrong. “Implementing  Research Findings into Practice:  Beyond the Information Deficit  Model.”  Getting Research Findings  into Practice. Eds. Andrew Haines and  Anna Donald. London: BMJ Books,  1998. 68‐76.      Nutley, Sandra, Isobel Walter, and Huw  Davies. “From Knowing to Doing: A  Framework for Understanding the  Evidence‐into‐Practice Agenda.” Mar.  2002.  ESRC Research Unit for  Research Utilisation Discussion Paper  1. Department of Management,  University of St Andrews. 28 Mar.  2006 .     Pawson, Ray, Trisha Greenhalgh, Gill  Harvey, and Kieran Walshe. Realist  Synthesis: an Introduction. Aug. 2004.  ESRC Research Methods Programme,  University of Manchester. RMP  Methods Paper. 27 Mar. 2006  .       Sadri, Golnaz, and Ian T Robertson. “Self‐ Efficacy and Work‐Related Behaviour:  A Review and Meta‐Analysis”  Applied Psychology: An International  Review 42.2 (1993): 139‐52.    Walter, Elizabeth. ed. “Diorama”.  Cambridge Advanced Learners  Dictionary. 2nd ed. Cambridge  University Press, 2005.  .        http://www.globusz.com/ebooks/Hit http://www.st%E2%80%90andrews%00 http://www.ccsr.ac.uk/methods/publi http://dictionary.cambridge.org/defin Evidence Based Library and Information Practice 2006, 1:2  56 Wilde, Oscar. A Woman of No Importance,  Act 1. Encyclopedia of Self‐ Knowledge. 27 Mar. 2006  .      http://emotionalliteracyeducation.co