Microsoft Word - ART_Booth.doc Evidence Based Library and Information Practice 2007, 2:1  89 Evidence Based Library and Information Practice     Article    Prediction is Difficult, Especially the Future: A Progress Report     Andrew Booth  Director of Information Resources and Reader in Evidence Based Information Practice,   School of Health and Related Research (ScHARR) University of Sheffield   Sheffield, Great Britain, United Kingdom  E‐mail: A.Booth@sheffield.ac.uk     Anne Brice  Head of Knowledge and Information Sciences, Public Health Resource Unit  University of Oxford ‐ Headington  Oxford, Great Britain, United Kingdom  E‐mail: anne.brice@dphpc.ox.ac.uk       Received: 05 September 2006    Accepted: 08 February 2007      © 2007 Booth and Brice. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.    Abstract    Objective ‐ This paper reviews developments in the consolidation and diversification of the  evidence based library and information practice (EBLIP) paradigm since publication of the  authors’ book Evidence Based Practice for Information Professionals: a Handbook in 2004.    Methods ‐ The authors provide an updated narrative review of key themes in the  development of evidence based librarianship within the context of the new consensual term  ‘EBLIP.’ Sources for this thematic framework included professional literature, Internet  searches, and the authors’ personal experiences.    Results ‐ While considerable achievements have been realized within a three‐year period,  most notably the instigation of the journal known as EBLIP, a broadening of the paradigm  to other library sectors, and increased availability of implementation studies, many  challenges remain. Of particular concern is the lack of international strategic foresight in  determining rotation of the biennial international conferences and distribution of influential  EBLIP infrastructures and initiatives.    http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:1  90 Conclusion ‐ While the enthusiasms and energies of individual practitioners and work  teams have made considerable progress in meeting short‐term objectives, uncertainty  remains concerning how longer‐term objectives requiring infrastructure and resources  might be realized. From its faltering steps as a toddler EBLIP has developed to a ‘pre‐ pubescent’ stage with the promise of ‘growth spurts’ and ‘emotional crises.’ The next three  years should prove both challenging and demanding.     Introduction    In 1997 at the Cochrane Colloquium in  Amsterdam, Dave Sackett, then Director of  the Centre for Evidence Based Medicine in  Oxford, predicted a future for evidence  based medicine and the Cochrane  Collaboration (Hicks 123).  By 2005, he  surmised, the Cochrane Collaboration  would have more than 10,000 systematic  reviews and researchers could access their  results within 15 seconds. Today’s reality is  that it takes closer to 3 times as long to  locate the results section of even a unique  hit for a review in the Cochrane Library files.  As for the promised yield of systematic  reviews, even at its creditable total of  approximately 3,600 titles including  protocols, this number falls well short of the  predicted amount by two‐thirds. This  illustrates how even a major player within  the field of evidence based practice is unable  to predict the future with any degree of  certainty.     Proponents of evidence based library and  information practice have found it equally  difficult to be prescient. In 2001 at the first  Evidence Based Librarianship Conference at  the University of Sheffield, Eldredge  advanced 4 predictions to be reached by a  target date of 2005:     1. Research results will appear that  begin to answer the practical,  enduring questions of health  sciences librarianship.  2. Cohort studies and randomised  controlled trials (RCTs) will begin to  serve as major research designs for  providing answers for certain  practical questions in health  sciences librarianship.  3. Structured abstracts will become the  convention for reporting research to  enable health sciences librarians to  identify and extract needed  information quickly from their  literature.  4. Qualitative research will generate  valuable exploratory hypotheses.  (Eldredge “Evidence Based  Librarianship: What Might We  Expect”)    Although, in comparison with Sackett’s bold  soothsaying, such quantification‐resistant  predictions find refuge in subjectivity, we  find it difficult to argue convincingly that  any of these have been fully realized. Indeed,  in 2005 at the 3rd Evidence Based  Librarianship Conference in Brisbane,  Australia, Booth revisited Eldredge’s  predictions, concluding that not a single one  had been realized by its target date. In doing  so he reminded the audience of his previous  observation that information specialists are  endowed with silicon chips not crystal balls  (Booth and Walton).    But surely, some might argue, there is some  support for Eldredge’s predictions, at least  in quantitative terms? To this we would  respond that, as evidence based  practitioners, we have learned not to  conflate increased inputs and outputs with  increased impact (Booth, “Counting”).  Notwithstanding an increase across the  Evidence Based Library and Information Practice 2007, 2:1  91 board in research and research‐oriented  articles (Table 1) the impact of evidence  based library and information practice has  fallen short of predictions. So, for example,  while crude estimates of the quantities of  research articles demonstrate an increase of  about 50% between 2001 and 2005, few of  the relevant and answerable questions of  health sciences librarianship identified by  Eldredge and other international colleagues  have been satisfactorily explored, let alone  resolved (Evidence Based Librarianship  Implementation Committee). Similarly,  while articles discussing cohort studies and  randomised controlled trial designs occur  more plentifully than before, this simply  reflects a general increase in, and awareness  of, research production and is not reflected  in a migration to greater use of major  research designs.    Structured abstracts are indeed more  plentiful, aided by their adoption for papers  being presented at the conferences of the  Medical Library Association and the  Canadian Health Libraries Association.  However, as their prevalence within the  longer‐established field of medical journals  is only marginally greater than 60%  (Nakayama et al. 239) applying the word  “convention” to a figure that likely falls well  short of 50% in health information journals  and which approaches only 3% in general  information journals (Koufogiannakis et al.  232) is surely stretching accepted meanings  of that term. Furthermore their adoption has  been on a one‐by‐one basis and not through  adoption of an editorial consensus statement  such as the CONSORT convention for  reporting randomised controlled trials (Plint  et al. 263). At least two major conferences ‐  the European Association of Health  Information and Libraries and the Health  Libraries Group in the UK ‐ do not yet insist  on structured abstracts.     Qualitative research continues to command  an important place in the research  methodology toolkit, but it is difficult to  identify any particularly valuable  explanatory hypotheses that distinguish the  years between 2001 and 2005. In attempting  to distinguish the more significant measures  of impact from the more readily obtainable  measures of output, the authors believe one  can paint a much less rose‐tinted picture of  the paradigm.  None of the foregoing is meant to  undermine any claims that the above  commentators might wish to make to  ‘expertness’ within evidence‐based practice  (Sackett). We would do well to remind  ourselves that less than two years before he  made the first manned flight, Wilbur Wright  stated that man “would not fly for fifty  years.” He later noted, “Ever since, I have  distrusted myself and avoided all  predictions.” (Wright)     2001  MEDLINE / CINAHL*  2005  MEDLINE / CINAHL*  Mentions of ‘research’ articles            40         /        205           66         /       323  Mentions of ‘cohort studies’ and  ‘RCTs’               5        /           23           10        /         30  Mentions of ‘qualitative research’            77       /           18          103      /         49  * Combinations of free‐text and subject  terms used in CINAHL were those  deemed to be the nearest equivalent to  MEDLINE terms.         Table 1: Incidence of Markers of Evidence Based Practice in the Health Information Literature  Evidence Based Library and Information Practice 2007, 2:1  92 Where we seem on safer ground is in  recording aspirations rather than  predictions. In the final chapter of Evidence  Based Practice for Information Professionals: a  Handbook, the editors, together with  colleagues, Denise Koufogiannakis, Ellen  Crumley, and Jonathan Eldredge, advanced  individual and collective aspirations for  evidence based information practice (Brice  et al.). Our thoughts were compiled in late  2003, the year before publication of that  edited volume. Having already  demonstrated how ineffectual five‐year  vistas prove within evidence based practice,  these provide an alternative three‐year  benchmark for progress to date. We  welcome the opportunity in this paper to  revisit these aspirations. We acknowledge  that authorship of this article no longer  privileges the North American perspective.  Yet at the same time, our contribution is  strengthened by insights gained from  workshops and seminars delivered in  Denmark, Finland, Sweden, Spain, Sicily,  Romania, and Australia.    What’s in a Name?    In beginning this narrative review we  should acknowledge our personal antipathy  to the label ‘evidence based librarianship.’  We believe that this label is limited in scope  and may carry undesirable connotations of  exclusivity. Initially we were attracted to the  alternative name ‘evidence based  information practice,’ because it appears to  be more encompassing. It was this term that  we originally advocated. However, we  subsequently realized that this term loses  the strength derived from connection with  the already well‐established body of our  professional practice. In discussions at the  3rd Evidence Based Librarianship  Conference in Brisbane, we came to agree on   ‘evidence based library and information  practice.’ The authors believe that this  phrase aptly characterizes the intellectual  efforts and energies expended by a growing  international community on behalf of this  model of reflective and continuously  developing professional practice. We  therefore hope that this name continues to  establish itself as a consensual term under  which future endeavours will be organised  and mobilised.    Booth has opportunistically recorded a  snapshot of the concept behind this newly  preferred term. In doing so he attempted to  synthesize previous definitions (Booth,  “Exceeding;” Eldredge, “Evidence;”  Crumley and Koufogiannakis). Writing in  Performance Measurement and Metrics he says  that EBLIP :     . . .  .seeks to improve library and  information services and practice by  bringing together the best available  evidence and insights derived from  working experience, moderated by  user needs and preferences. EBLIP  involves asking answerable  questions, finding, critically  appraising and then utilising  research evidence from relevant  disciplines in daily practice. It thus  attempts to integrate user‐reported,  practitioner‐observed and research‐ derived evidence as an explicit basis  for decision‐making. (“Counting” 65)    This definition is our starting point for the  discussion that follows. To facilitate  comparison with the original chapter, this  article follows the outline of the original and  discusses publishing, community access and  discussion, policy development,  improvement of the knowledge base,  instruction and practical tools, international  collaboration, and achievements. It revisits  various challenges, aspirations and  frustrations of EBLIP before examining  goals for the future. In doing this, the paper  draws on a thematic analysis populated  from the literature, Internet searches, and  the authors’ personal experience. The article  Evidence Based Library and Information Practice 2007, 2:1  93 concludes by extending the horizon to  accommodate ongoing expectations and  aspirations.     Publishing    The original chapter outlined a “plethora of  conceptual literature” (Brice et al. 280), and  there remains ongoing interest in EBLIP  among researchers, educators, policy  makers, and practitioners in promoting  EBLIP and embedding it within daily  practice. Arguably, however, although these  publications are a necessary mechanism for  translating and adapting the generic  evidence based practice model to our  professional domain, they have been  subsumed in importance by a new and  exciting brand of ‘implementation’ study  (e.g., Cotter et al.; Abbott; Yu et al.). Such  studies, first presented at the 3rd  International EBL Conference (Brisbane,  2005) and later published in this journal,  have promulgated the key messages of  EBLIP more widely, across both sectoral and  cultural divides.     In the authors’ personal opinion, the single  most important development has been the  launch of the journal Evidence Based Library  and Information Practice (EBLIP) itself, not  only because it is an open access, online  resource, but also because it is already  significantly indexed by LISA: Library and  Information Science Abstracts, Library  Literature and Information Science, LISTA:  Library, Information Science and Technology  Abstracts and the Informed Librarian Online.  Published by the University of Alberta  Learning Services, since March 2006, EBLIP  combines primary research, commentary,  and evidence summaries for current journal  literature, and it represents a considerable  achievement in planning and application.  As such it provides a tangible and highly  visible representation of the desire to put the  practice of EBLIP on a firmer, more rigorous  footing.  Other journal publishing ventures include  the “Using Research In Practice” column in  the Health Information and Libraries Journal  (beginning in 2003) and the Medical Library  Association Research Section’s publication,  Hypothesis. A more encouraging sign of  diversification of the paradigm are the  special features in existing journals, such as  the 2006 special EBL issue of Library Hi‐Tech,  and feature articles in Library and Information  Research that appeared in 2006.    With regard to the book literature, our own  Evidence Based Practice for Information  Professionals: A Handbook suffers, perhaps,  from the burden and expectation of being  the first volume on the topic. In attempting  to combine the triple roles of historical  marker, evidence source, and practical  guide it unsurprisingly falls between stools.  Rightly criticised for being more than a  ‘handbook,’ unless of the arachnodactylic  variety (!), it has at least opened the way for  further niche offerings, such as Case Studies  in Evidence Based Librarianship, edited by  Elizabeth Connor (Chandos Publishing,  2007). Connor’s work, as indicated by its  proposed title, is located securely within the  earlier variant of the paradigm, carrying the  joint virtue/vice of being independent of  more recent EBLIP thinking and activity as  showcased at the recent EBL conferences. In  addition, the concept of ‘evidence based  research,’ as apparently espoused by the  editor, is doubly problematic because all  research should be evidence based – at least  in its conduct – while research‐derived  evidence is only one ingredient of an  optimal blend that also includes  ‘practitioner observed’ and ‘user‐reported’  evidence. It remains to be seen whether this  book’s principal contribution lies in  exemplification of, or fragmentation from,  the most current version of the EBLIP  model.     What have such publishing developments  brought, and what remains to be done? No  Evidence Based Library and Information Practice 2007, 2:1  94 formal measures of the spread or depth of  awareness of the concepts and features of  EBLIP exist, and it is not possible to be  precise about the impact of these and other  ventures. Many fundamental questions  remain about the nature of research and  scholarly publishing and its impact on the  lives of everyday library employees. Will the  dearth of good quality research make the  task of identifying potentially useable  contributions unsustainable? Furthermore,  what might we learn from the experiences of  other disciplines, where publication of better  quality primary evidence is likely to be  subordinate to many contextual factors that  influence implementation of research into  practice (Meijers et al.)?    Community Access and Discussion    The intention of creating a vibrant, open,  community discussion forum, to enable  information sharing, and to “promote the  movement internationally and to encourage  librarians from all subject areas to learn  more” (Brice et al. 280), a deficiency  identified three years ago, is still to be  realised. Although the Evidence Based  Libraries electronic mail list () continues to  attract a wide user base of nearly 700  members, it remains primarily a vehicle for  one‐to‐many dissemination. The same can  be said of the more recent addition, the  Canadian‐originated Evidence Based  Librarianship Interest Group  (). Although this  interest group has extended its membership  beyond the narrow confines of the Canadian  Library Association, here, too, there is little  evidence of genuine innovation and debate.  There is little evidence of more than a slow  seepage of EBLIP into discussions on other  library professional mailing lists. The  comment from 2004 that there is “as yet no  natural forum for international discussions  on EBL ideas, philosophies and techniques”  (Brice et al. 280) reflects the current status in  2007.  This lack of discussion on conceptual  issues is tentatively addressed by articles on  the wider ramifications, such as the ethics of  EBLIP (Booth, “Where’s the Harm”), EBLIP  narrative methods (Brophy), and the utility  of EBLIP (Pearce‐Smith).     One specific attempt to engage members in  discussion has been the online,  asynchronous Medical Library Association  Research Sectionʹs Evidence based  Librarianship (EBL) discussion group. Here  a series of readings, to provide an  introduction and overview of specific areas,  helps to structure a discussion based on  topics including an overview of EBL,  finding evidence, study design and the  future of EBL. Apparently aimed at laying a  foundation of fundamental principles for  evidence based librarianship, rather than  advancing controversy and debate, this  otherwise invaluable discussion necessarily  captures a retrospective view of the topic  through the aperture of historical, albeit  recent, articles.     In 2004 the authors threw down a somewhat  weary challenge to extend participation on  the public stage beyond the ‘same names’:  “In short, the Innovators have done their bit  – now is the time for the Early Adopters to  step forward and be identified” (Brice et al.  291).    Encouragingly, this particular challenge has  been met, illustrated by such projects as  those mentioned earlier (Cotter et al.;  Abbott). There is also a heavy presence  among the EBLIP journal advisors of those  ‘early adopters,’ adding an impressive  breadth and depth of coverage to the  publication, albeit focused on the developed,  English‐speaking world. Fortified by this  injection of talent and enthusiasm, many  self‐styled innovators have derived new  impetus.     Evidence Based Library and Information Practice 2007, 2:1  95 A profession that tends towards the  anecdotal and practical, rather than the  conceptual and visionary, however,  mediates such encouraging and yet isolated  developments. This observation is equally  true of other areas of library practice, and  indeed, of other groups and disciplines.  Social research informs us that people will  express their views only when they are  engaged and committed, and this requires  the building of trust and a common  language (Cooper et al.).  Initial indications  appear to be that it will be easier to start  small ‐ by creating virtual learning  communities locally and then building upon  early successes to reach out to the wider  librarianship community (Lewis).    EBLIP achieves its largest measure of  success where different communities or  sectors of our profession stamp their own  unique approaches on the topic, while  retaining the spirit of the movement. This  aspiration, best exemplified by activities  within school librarianship, was recorded in  2004 as “Incorporating all library sectors  into the movement and revising the  definition of EBIP to capture the different  aspects of librarianship” (Brice et al. 289).     What evidence is there of the spread of  evidence based practices from healthcare to  other sectors? A search of the LISA database  identified 326 citations published in 2003  with ‘evidence based’ appearing in article  titles or textwords. Visual inspection of the  abstracts for these established that only 9%  were from settings outside the health  sciences (Table 2). By 2006 this percentage  had increased to 12%. Certainly this does  not constitute evidence of growth sufficient  to fulfil this particular aspiration. Other  markers such as use of the phrases ‘critical  appraisal’ and ‘systematic review’ actually  represent a relative decrease in spread to  other disciplines, mainly due to more  prolific activities within the healthcare  information sector. At the same time, there  is some indication of increasing interest  from practitioners from other sectors in the  evidence based librarianship conference  series. The first Evidence Based  Librarianship Conference was attended  almost exclusively by health information  practitioners. The second conference  included information practitioners from  outside the health arena, but most were  principally those working within the host  institution. It was in Brisbane at the third  conference that there was a truly genuine  attempt at cross‐sector participation.     2003  2006 Selected EBLIP  Terms  Health  Non‐ Health  Total     Health   Non‐ Health    Total  % Increase  2003‐2006  Evidence based  298  (91%)      28 (9%)   326    43 (88%)       60 (12%)      494  52%  Critical appraisal    43 (41%)      63 (59%)   106    53 (44%)       67 (56%)      120  13%  Systematic  review    19 (63%)      11 (37%)     30    39 (71%)       16 (29%)        55  83%  Evidence  484 (20%)  1978 (80%)  2452  716 (22%)   2524 (78%)    3240  32%    Table 2: Prevalence in the LISA Database of Selective Markers of Evidence Based Practice    Additionally the IFLA Social Sciences  Libraries Section has recently issued a call  for papers at its 2007 meeting on the theme  “Evidence Based Practice in Social Science       Libraries: Using Research and Empirical  Data to Improve Service.”        Evidence Based Library and Information Practice 2007, 2:1  96 Policy Development    Involvement of key figures in planning and  policy discussions is of symbolic, as well as  practical, importance. However, it is  correspondingly more difficult to measure  the impact of EBLIP on planning and policy  – if indeed there has been any at all. Not  only is it problematic to identify where such  discussions impact on day‐to‐day  practitioners, but it remains a challenge to  trace when the evidence based signal, first  imperceptible and then increasing in  strength, becomes manifest in policy  decisions. Indeed, there has been no formal  analysis of the influence of the evidence  based paradigm on policy development.  Areas where progress has been made  remain hidden in internal documents or in  the consciousness of senior policy makers.  Relying only on published accounts, it  becomes clear that some EBLIP related areas  of policy development have received  attention at the highest level within specific  geographic, sectoral or professional contexts.  However it remains unclear what the impact  of these has been or, indeed, how this might  actually be measured.    Notwithstanding such difficulties in  evaluation of impact, involvement of senior  and high‐profile librarians – e.g., Joanne  Marshall, Margaret Haines, and Gillian  Hallam ‐raising priorities and issues during  their presidency periods of MLA, CILIP, and  ALIA respectively, has provided  considerable encouragement to those  working in the field. These and other  opinion‐leaders have an important and  continuing role to play, largely because of  their ability to combine academic and  professional rigour with influence and  impact on broader professional matters.     It would be wrong to overplay the  importance of this leadership role, however.  Evidence based practice has always  accommodated “top‐down” and “bottom‐ up” approaches alike. Indeed, the success of  current Australian endeavours may be most  attributable to energy derived from  grassroots experiences, and their successful  efforts may translate as examples for  librarians in other continents. For example,  librarians in Gosford, New South Wales  have produced a useful and pragmatic  document, “Libraries Using Evidence  Charter” (Cotter and Lewis). The speed with  which this deliverable was realised contrasts  with the corresponding delay currently  taking place as leading figures in the  movement debate the best way forward for  developing an international consensus  statement. Such a statement would mirror  the “Sicily Statement for Evidence Based  Practice” (Dawes et al.) in agreement  regarding the scope, current status, and  priorities for development of EBLIP.    Improving the Knowledge Base    The original summary chapter highlighted  improvement of the knowledge base as one  of the biggest challenges facing the  development of EBLIP, and this remains the  area where significant changes need to be  made. These areas can be summarised as:    • availability of research funding  • type of questions being answered  • study designs selected  • quality of research   • synthesis of findings  • dissemination of results    While publishing initiatives itemized above  help to disseminate findings more rapidly,  we might well ask whether there is a  ‘mother lode’ for a ready source of evidence  summaries.  Koufogiannakis et al.  previously investigated our knowledge of  the characteristics of our evidence base, and  Perryman and Lu have recently augmented  this with their examination of the  terminology used by the LISA (Library and  Information Science Abstracts) database to  Evidence Based Library and Information Practice 2007, 2:1  97 identify research methodologies. The  authors demonstrated that the LISA  thesaurus is neither consistent nor  sufficiently comprehensive to serve the  needs of researchers. However, in  comparison with work in healthcare, we still  have a great deal more to learn concerning  the tools and methods of evidence based  practice. For example, might methodological  filters be successfully developed to retrieve  rigorous studies from the library literature  in the same way that they have been devised  for health care research?    The ability to collect and address questions  of direct relevance and applicability to  practitioners, the ability to fund and conduct  good quality studies, and the skills and  funding to synthesise research findings to  add power to their results, should lie at the  heart of EBLIP, as with similar movements  in other disciplines. Is there anything we can  do to improve the relevance and  applicability of research? Do we have even  the basic tools to use, such as validated  instruments? A recent systematic review of  information skills training (Brettle)  highlights the fact that our quest to  synthesise research results may often  conclude not simply that we lack the  research studies, but, even more  fundamentally, that we do not have the  validated tools with which to conduct such  research. Our own thinking has moved on to  the extent that we consider the development  of tools to facilitate rigorous research to  have supplanted the specific areas  summarized above as a realizable priority  with regard to improving the knowledge  base.    Teaching and Learning and Practical Tools    Hand‐in‐hand with the need for an  improved knowledge base come skills to  access and exploit it. The ongoing  development of EBLIP workshops (Booth  and Brice, “Clear‐Cut?”), the integration of  EBLIP principles into mainstream library  and information studies (LIS) course  teaching, and the development of formal  EBLIP modules have been accompanied by  the development and spread of several  practical learning resources:      • Setting‐Perspective‐Intervention‐ Comparison‐Evaluation (SPICE)  framework for analyzing  answerable library questions (Booth,  “Formulating”).  • Readerʹs Guide to the Literature on  Interventions Addressing the Need  for Education and Training  Checklist for Educational Studies  (Koufogiannakis et al., “ReLIANT”)  and Checklist for Filter Studies  (Jenkins).  • Inventory of Research Methods for  Librarianship and Informatics  (Eldredge, “Inventory”).    Ad hoc individual contacts between  international collaborators have contributed  to the spread of teaching methods and  materials, such as the workshops at the 3rd  EBL Conference facilitated jointly by US‐UK  and UK‐Canada pairings. Improved  international understanding and  collaboration are particularly evident in  Europe and Australia where several joint  teaching events, and an accompanying  exchange of teaching methods, have been  successfully delivered. There has been  criticism, however, that the success of these  events is overly dependent on the profiles  and efforts of a few well‐known individuals  and can only contribute to short‐term  awareness. In contrast, the European ethos  embodies a system of cascade whereby an  external facilitator comes into a single  organisation as an EBLIP catalyst. Following  this external stimulus, internal staff  members work on taking forward issues  within their own organisations.     Evidence Based Library and Information Practice 2007, 2:1  98 This model, which targets the aspiring  evidence based organisation, through work  teams, as opposed to the isolated evidence  based practitioner (Booth, “From EBM”) has  been tried by the authors when conducting  training courses for libraries such as those of  Loughborough University and Kings  College, London in the United Kingdom and  for the Karolinska Institute in Sweden.  While it is too early to judge whether such  approaches have proved effective there is at  least some grounds for optimism that these  may provide an opportunity for greater  institutionalisation and integration of EBLIP  into work teams. The team at the Karolinska  Institute, for example, report in a personal  communication how they have taken their  journal club one step further to a more  objective discussion, adopting the Critical  Skills Training in Appraisal for Librarians  (CriSTAL) checklists developed for  appraising library studies (Booth and Brice,  “Clear‐Cut?”), and writing the minutes to  resemble an evidence summary.  Interestingly, this cascade method models,  albeit on a smaller‐scale, the approach used  by the Association of Research Libraries in  the US to increase local ownership of  performance measurement (Hiller et al.).  Of  course, there may be other such ‘learning  cascades,’ but these remain, as yet,  unrecorded.    International Collaboration and  Achievements    Rotating locations for the international  conferences has provided many  opportunities for collaboration, as  colleagues from around the world plan and  attend these events. Fortuitously each  conference has witnessed the appearance of  an international delegate to volunteer to  organize the subsequent event. Holding the  conference in different locations also allows  proponents from each country to bring  relevant issues to a larger audience and to  stimulate local developments. It also attracts  international speakers amid awareness that  research carried out outside one’s own  immediate environment may be both  interesting and transferable.     The downside of this opportunistic  approach to hosting the conference lies in  the absence of a shared strategic vision for  development of the series. Certainly the  long‐standing pedigree of the movement  within the United States might have led to  expectations that participation as host for  the biennial international conference would  come earlier than the fourth iteration. Of  more concern is the possibility that this  opportunistic modus operandi might lead to  persistent exclusion of the developing world  or of non‐English speaking cultures such as  those in Eastern Europe. As stated three  years ago, EBLIP  “is still mainly in  developed countries, so involving other  librarians from all types of environments  and situations would enable us to develop  the concept for all librarians’” (Brice et al.  285).    While something as tangible and focused as  a conference has survived and thrived in  this ‘strategy vacuum,’ this is not true of  broader, more long‐term, collaboration for  the movement in general. There has still not  been an explicit discussion or debate, never  mind agreement, over what can and should  be done internationally, and what is best  done nationally or locally. The model that  currently appears to hold sway for EBLIP  initiatives is that exemplified by the EBLIP  journal ‐‐ namely that it is parochial (in this  particular case, Canadian) in ownership but  international in scope and impact. While  commending the foresight and opportunism  that leads to such developments, one has to  ask whether such an approach will result in  an even spread of EBLIP mechanisms and  infrastructures across multiple countries.  Too, how will such entrepreneurialism  ensure the development of less attractive,  and yet equally necessary, structures, once  Evidence Based Library and Information Practice 2007, 2:1  99 the first round of initiatives has been  ‘cherry‐picked’? Further dilemmas are  reflected in divisions between sectors – advocates for EBLIP remain split as to the  extent to which their energies should be  focused inwards, towards running  workshops and delivering presentations  within their own sectors, or outwards, in  working across sectors on wider  propagation of the paradigm.     Encouragingly, some examples of cross‐ boundary international efforts do exist. The  Cochrane Information Retrieval Methods  Group provides the first example of one  aspiration, “an international register of  rigorous librarianship studies” (Brice et al.  290)  (albeit as a component of the Cochrane  Methodology Register and focusing  exclusively on issues associated with  information retrieval). The international  HTA‐i information specialists group hosted  an Evidence Based Information Retrieval  workshop in Adelaide, Australia, that  attracted international regulars and local  enthusiasts. The European Association for  Health Information and Libraries has also  hosted an evidence based librarianship  workshop and featured EBLIP in a special  issue of its open access journal (Booth,  “Where’s the Harm?”). Wider collaborative  opportunities with the contiguous  disciplines of evidence based information  systems and evidence based software  engineering have been tantalisingly hinted  at but are still to be explored in detail.    Challenges, Aspirations and Frustrations     In the opinion of the authors two particular  challenges remain as pertinent today as they  did for the original chapter: the ‘depth and  spread’ of EBLIP and the need for  developing an EBLIP ‘skills base.’  ‘Depth  and spread’ represents a complex  phenomenon, although significant  developments may still exist where EBLIP  issues are tackled at the grassroots. Whether  such depth extends to responsibility at every  level – “individual, organisational,  professional, national and international”  (Brice et al 284.) ‐ is more difficult to gauge.  Major professional membership associations  are comparatively quick to pay lip service to  the importance of EBLIP but, with the  exception of funds for conference  organisation, few have placed resources at  its disposal. Associations with a prior record  of involvement in research utilisation, such  as the Special Libraries Association and  Medical Library Association in the United  States, the Canadian Health Libraries  Association, and the Library and  Information Research Group and Health  Libraries Group in the United Kingdom,  have found it easier to accommodate the  EBLIP agenda than more recent additions to  the fold. Organisations such as the  Australian Library and Information  Association have had their involvement  stimulated by the proximity of EBLIP  conferences, in truth making non‐ participation almost impossible, and their  support has been warmly welcomed. For  many other groups, however, there persists  a sense that inclusion in conference  programmes or workshops is simply a  response to the perceived need of committee  members: “I suppose we should do  something for our members on evidence  based librarianship.” This would be  followed by the almost inevitable, “Well  now we have done that, what is the next hot  topic that should command our attention?”     Issues with regard to the skills base are also  problematic. EBLIP not only requires  production of a new generation of  practitioners, familiar with the design and  interpretation of LIS research. We hope that  the encouraging initial observation that  evidence based practice apparently meets  the “unique learning preference of the  modern‐day LIS student – the Millennials”  (Partridge and Hallam 417) is ultimately  realised. However we also acknowledge the  Evidence Based Library and Information Practice 2007, 2:1  100 same authors’ caution that “the current  student cohort is not comprised solely of  Millennials, but also includes older students  such as Generation X – and even Baby  Boomers”(406). EBLIP therefore also needs  to provide corrective or remedial education  for generations of practitioners who, like  ourselves, received little or no formal  research training. As we commented three  years ago:    A sustainable continuing  professional development policy  and funding has neither been  achieved nor implemented.  Otherwise successful tools and  educational activities have,  disappointingly, not been  recognized by commitment and  funding at a policy level. (Brice et al.  287)    Despite interest from educators, there is still  considerable unfulfilled demand for  remedial education, hence ongoing demand  for workshops and short courses and the  need for sharing of resources.     Priorities for the Future    Our aspirations for the future must  necessarily include both strategic necessities  and personal priorities. As briefly hinted  above, the EBLIP movement requires both  strategic coordination and the development  of international consensus. Strategic  coordination would yield opportunities for  a more planned and systematic approach to  conference planning and the development  and allocation of resources and initiatives  according to genuine need. This would  serve to channel the prodigious energies  and enthusiasms of those already involved  in EBLIP more productively as well as  providing a rallying point for those  interested in future participation. Parallels  have previously been drawn with the  international Cochrane Collaboration.  Certainly were even a fraction of that  network’s efforts to be achieved within our  profession, all would benefit (Booth, “Will  Health Librarians”).    Similarly the achievement of an  international consensus on what EBLIP is  and how it might best be taken forward is  seen as a prerequisite to other proposed  developments. While a joint international  statement of policy and intent, first  mentioned three years ago and discussed  informally at the 3rd Evidence Based  Librarianship Conference is seemingly  symbolic, we believe it would constitute a  really important first step. This would both  provide an opportunity to synchronise the  different national ‘EBLIP clocks,’ from  which subsequent developments and  synergies could be advanced, and also act as  a vehicle for shared values and clearer  communication across cultures and sectors.      Given the limited time and resources  available, and the increasing pressure on  individuals to satisfy immediate  organisational objectives, sectoral  involvements, and national interests ‐ time  remaining for international activities will be  limited. Yet the logic for collaboration is  persuasive: If every member attending a 20‐ strong EBLIP workshop wrote one evidence  summary over a two‐year period, the  international community would have access  to the findings of 20 new research studies.  This would supplement the 10 or more  summaries published in each issue of this  journal. Collectively such evidence  summaries benefit the individuals, their  organisations, and nameless colleagues  worldwide. How effective these and other  such international efforts, could be in saving  time and energy, sharing knowledge,  reducing duplication, and supporting  learning from global experiences! A  disappointing feature of an otherwise  encouraging trend towards localisation of  EBLIP is the number of anecdotal accounts  Evidence Based Library and Information Practice 2007, 2:1  101 of journal clubs with no visible or virtual  outputs disseminated via the rapid  publishing medium of the Web. Indeed,  such journal clubs do not even make  available the lists of articles they have  reviewed and appraised – maybe laying  claim to the label ‘Evidence Based Library  Invisible Practice’! By way of contrast, the  Libraries Using Evidence Initiative has  recently established an EBLIP newsfeed  providing access to and awareness of recent  international literature in our field  ().  This initiative has the potential for a positive  impact on our agenda.    Our personal aspirations continue to  prioritise one still outstanding deficiency.  “Robust methods for disseminating research  findings to practising professionals are yet  to be achieved” (Brice et al. 287).   Investigation of promising, but ultimately  unsatisfactory, products such as systematic  reviews, guidelines, briefings, and digests  has culminated, most recently, in the  proposal of the RESolutions evidence model,  an as yet untried but holistic and pragmatic  evidence summary (Booth, “Route Maps”).  Again, our own limited powers of  prediction have seen us having to postpone  at least one aspiration,  “Once we have  attained a critical mass of rigorous studies  such as randomised controlled trials and  cohort studies, we can then graduate to  conducting more systematic reviews” (Brice  et al. 290).    The beguiling elegance of the effectiveness  review remains defeated, at least for the  moment, by a paucity of studies.  Nevertheless, future prospects for research  synthesis lie encouragingly with qualitative  systematic reviews that may allow us to  prioritise the attitudes, perceptions, and  feelings of our users (Booth, “Will Health  Librarians”).  Meanwhile there remains an ongoing need  to develop tools and products to make it  easier for practitioners to apply research  findings in the workplace.  The Libraries  Using Evidence Initiative is working on a  proposed ‘toolkit,’ while the authors  themselves are planning a more extensive  inventory of CriSTAL checklists. However  there remains a need for “lobbying  educational institutions to increase research  and appraisal skills teaching in the  curriculum, roll‐out of educational  interventions such as appraisal workshops,  and continuing development of e‐learning  and distance based courses” (Brice et al. 289).    This emphasis on the practitioner is further  seen in our aspiration for an increase in  practitioner‐led research. Herein lies a  paradox – simply increasing practitioner‐ conducted research, without increasing  skills and knowledge, may improve the  relevance and applicability of research, but  could actually result in a reduction in  research quality! The lesson to be learnt  from consumer involvement in research is  that practitioners could shape the questions  but not necessarily conduct the research  themselves. The biggest challenge may yet  be to obtain funding to conduct the research  needed to make better decisions in areas  deemed most relevant by practitioners.      Many suggestions for driving developments  forward in the short‐ or medium‐term carry  the underlying themes of integration and  embedding in mainstream activities. To  have EBLIP conferences and courses is good,  to embed EBLIP themes and approaches  within established forums is better. To have  an EBLIP journal is again important, but to  have EBLIP articles within every LIS journal  is even more so. To have EBLIP modules  within LIS courses is significant, but to have  an EBLIP approach within every module  should be the aspiration.      http://del.icio.us/ebliptoolkit/current Evidence Based Library and Information Practice 2007, 2:1  102 • Interactive version of CriSTAL checklists on the Web alongside other learning materials  • International online course offered on a regular basis  • Complete set of “User Guides to the Library Literature” commissioned and published   • Filtered database, containing references to high quality research articles categorized by  domains or areas of common interest  • Common international curriculum  • International research strategy and funding  • Scholarships/fellowships  • Large‐scale international multi‐centre prospective studies  • Safe space on the Web to encourage mentoring research and applied skills  Figure 1: Longer‐Term Objectives Requiring Infrastructure and/or Funding (Brice et al. 289‐90)      “Future success will only come when EBIP  becomes mainstream and is supported by  those who are grounded in the  organisational cultures of international,  national, and professional library  associations and groups” (Brice et al. 291)    This rationale lay behind the most radical  statement of the original chapter:        And finally – success in extinction!  Maybe the most important longer  term aim, and critical success factor,  would be the abolition of an  international association of evidence  based information practitioners  (because it is so widespread and  common place everyone strives to  be evidence based). (Brice et al. 290)    It is telling that many longer‐term objectives,  brought forward from 2004, carry with them  a requirement for infrastructure and/or  funding. Some of these are listed in Figure 1.    Like any mid‐term report card, the eye is  inextricably drawn to the ‘could do better’  rather than to the ‘good.’ We have seen  considerable progress, and this is the note  upon which we should fittingly conclude.  We have seen a small but perceptible  increase in the use of structured abstracts  internationally for journals and conferences.  Our community continues to benefit not  only from the biennial conference circuit but  also, more importantly, from more frequent  inclusion of EBLIP in mainstream  conference programmes. We have witnessed  development and dissemination of the first  evidence based guideline on the topic of  Web site usability (Koyani et al.) and a  report on its subsequent utilisation in a  health library web development project  (Cotter et al.). We have also observed  development of the first EBLIP module in an  undergraduate or postgraduate library  course (Marshall and Perryman). The EBLIP  journal has met several objectives  simultaneously – providing evidence based  digests on the Web, a vehicle for systematic  reviews, a secondary journal of summaries,  and ongoing and productive international  collaboration.     The Future: Some Conclusions     In 2004 we commented, “We’ve made the  first faltering toddler’s steps, but we are a  long way from adolescence and maturity”  (Brice et al. 291). Growing pains continue,  and divergent opinions are necessary in any  organic movement spanning many  continents and disciplines. The significant  growth of evidence based library and  information practice, the development of  practical projects around integration and  implementation, and increasing  geographical and sectoral spread provide  Evidence Based Library and Information Practice 2007, 2:1  103 evidence that this ’toddler’ is now mobilised.  The time has come to mature from being  problem‐focused to solution‐focused. In  other words, it is time to use the evidence  based practice process to produce real and  transferable solutions to important practical  problems, rather than simply further clarify  our discussion of the existence of such  problems. Similarly, there is an urgent need  to consider the adoption of evidence based  practice as a core personal, professional, and  organisational responsibility. This requires  that EBLIP be fully integrated into personal  development plans, professional  revalidation, and organisational  accreditation schemes. Perhaps  ‘prepubescence’ is now a more fitting  analogy for the current status of our  paradigm’s biochronological development.     Having consistently highlighted the dangers  inherent in prediction, it would be foolish  for us to put in place too many  developmental milestones (or even too  many arbitrary millstones!) against which to  chart ongoing success of the paradigm.  Nevertheless we would confidently aspire  to some, if not all, of the following  achievements over the next three‐year time  frame:    • Formation of an international  collaboration or association of  evidence based library and  information practitioners.  • Production of an internationally  recognized consensus statement.  • Increasing practitioner involvement  in determination of research  questions and priorities.  • Continued dissemination of  significant research findings  through evidence summaries.  • Increasing use of ‘Implications for  Practice’ from published research  findings.  • Generation of tools and techniques  for increased utilisation of the  evidence and for the promotion of  reflective practice.  • Integration of evidence based  practice and project management  methodologies as tools for strategic  planning.  • Increasing numbers of team‐based  exemplars of local EBLIP initiatives.    Should none of these aspirations be fulfilled  within this putative timeframe, we shall, of  course, take refuge in pointing again to the  universal truth that “Prediction is difficult;  especially for the future!” Of one thing we  can be certain, as we anticipate growth  spurts and accompanying emotional crises  in the further development of our EBLIP  adolescent, the next three years promise to  command ongoing parental attention!     Works Cited    Abbott, Wendy Anne. “Persuasive Evidence:  Improving Customer Service through  Evidence Based Librarianship.”  Evidence Based Library and  Information Practice 1.1 (2006): 58‐68.  24 Feb. 2007  .    Booth, Andrew. “Counting what Counts:  Performance Measurement and  Evidence Based Practice.” Performance  Measurement and Metrics 7.2 (2006):  63‐74.    ‐‐‐. “Exceeding Expectations: Achieving  Professional Excellence by Getting  Research Into Practice,” LIANZA, 15‐ 18 Oct. 2000, Christchurch, New  Zealand.     ‐‐‐. “Formulating Answerable Questions.”   Evidence Based Practice for  Information Professionals: A  Handbook.  Eds. Andrew Booth and  Anne Brice. London: Facet, 2004: 61‐70.  http://ejournals.library.ualberta.ca/ind Evidence Based Library and Information Practice 2007, 2:1  104 ‐‐‐. “From EBM to EBL: Two steps forward  or one step back.” Medical Reference  Services Quarterly 21.3 (2002): 51‐64     ‐‐‐. “Route Maps for Evidence Based  Problem Solutions (RESolutions):  What’s the Evidence for Journal  Cancellation?” Health Information and  Libraries Journal 23.4 (2006): 298‐303.    ‐‐‐. “Whereʹs the Harm in EBLIP? Current  Perspectives, Future Developments.”  Journal of the European Association  for Health Information and Libraries  2.3 (2006): 34‐8.    ‐‐‐. “Will Health Librarians and Related  Information Workers Ever Work  Together to Create an International  Network?” Health Information and  Libraries Journal 18.1 (Mar. 2001): 60‐3.     Booth, Andrew, and Anne Brice. “Clear‐Cut?  Facilitating Health Librarians to Use  Information Research in Practice.”  Health Libraries Review 20 Supp.1  (2003): 45‐52.     Booth, Andrew, and Graham Walton, “Some  Concluding Trends and Themes.”  Managing Knowledge in Health  Services. Eds. Andrew Booth and  Graham Walton.  London: Library  Association, 2000. 289.     Brettle, Alison. “Information Skills Training:  a Systematic Review of the Literature.”  Health Information and Libraries  Journal 20 Supp. 1 (2003): 3‐9.  Brice, Anne, Andrew Booth, Ellen Crumley,  Denise Koufogiannakis, and Jonathan  D. Eldredge, “A Future for Evidence  Based Information Practice? Evidence  Based Practice for Information  Professionals: a Handbook. Eds.  Andrew Booth and Anne Brice.  London: Facet, 2004. 279‐92.   Brophy, Peter. “Narrative‐Based  Librarianship.” The Area of  Information and Social  Communication: Festschrift for  Professor Wanda Pindlova. (Studies in  Library and Information Science, vol.  10). Krakow: Jagiellonian University  Press, 2004. 188‐95.    Cooper, Janet, Siân Spink, Rhian Thomas,  and Christine Urquhart. “Evaluation of  the Specialist Libraries/Communities of  Practice: Report for National Library  for Health.” Department of  Information Studies, University of  Wales Aberystwyth (June 2005). 24  Feb. 2007  .    Cotter, Lisa, Larnich Harjie, Suzanne Lewis,  and Ingrid Tonnison. “Adding SPICE  to a Library Intranet Site: A Recipe to  Enhance Usability.” Evidence Based  Library and Information Practice 1.1  (2006): 3‐25. 24 Feb. 2007   .     Cotter, Lisa, and Suzanne Lewis. “Libraries  Using Evidence ‐ eblip.net.au.”  Evidence Based Library and  Information Practice 1.3 (2006): 98‐100.  24 Feb. 2007  .  Crumley, Ellen, and Denise  Koufougiannakis. “Developing  Evidence Based Librarianship:  Practical Steps for Implementation.”  Health Information and Libraries  Journal 19.2 (2002): 61‐70.    Dawes Martin, William Summerskill, Paul  Glasziou, Antonino Cartabellotta, Janet  Martin, Kevork Hopayian, Franz  http://cadair.aber.ac.uk/dspace/bitstre http://ejournals.library.ualberta.ca/ind http://ejournals.library.ualberta.ca/ind Evidence Based Library and Information Practice 2007, 2:1  105 Porzsolt, Amanda Burls, and James  Osborne, Second International  Conference of Evidence Based Health  Care Teachers and Developers. “Sicily  Statement on Evidence Based Practice.”  BMC Medical Education 5.1 (5 Jan.  2005): 1. 24 Feb. 2007  .      Eldredge, Jonathan D. “Evidence Based  Librarianship: What Might We Expect  in the Years Ahead?” Health  Information and Libraries Journal 19.2  (June 2002): 71‐7.    ‐‐‐. “Inventory of Research Methods for  Librarianship and Informatics.”  Journal of the Medical Library  Association 92.1 (Jan. 2004): 83‐90.     Evidence Based Librarianship  Implementation Committee. “The Most  Relevant and Answerable Research  Questions Facing the Practice of Health  Sciences Librarianship.” Hypothesis  15.1 (2001): 9‐15,17.     Hicks, Alison “Developing Information  Skills Training for National Health  Service Personnel: Experiences at the  Trent Institute for Health Services  Research.” Program: Electronic Library  and Information Systems 32.2 (1998):  123‐36.     Hiller, Steve, Martha Kyrillidou, and Jim  Self. “Assessment in North American  Research Libraries: A Preliminary  Report Card.” Performance  Measurement and Metrics 7.2 (2006):  100‐6.     Jenkins, Michelle “Evaluation of  Methodological Search Filters—a  Review.” Health Information and  Libraries Journal 21.3 (2004): 148‐63.    Koufogiannakis, Denise, Linda Slater, and  Ellen Crumley. “A Content Analysis of  Librarianship Research.” Journal of  Information Science 30.3 (2004): 227‐39.    Koufogiannakis, Denise, Andrew Booth, and  Alison Brettle. “ReLIANT: Readerʹs  Guide to the Literature on  Interventions Addressing the Need for  Education and Training.” Library and  Information Research 30.94 (2006): 44‐51.     Koyani, Sanjay J., Robert W. Bailey, and  Janice R. Nall. Research‐Based Web  Design & Usability Guidelines.  Washington, DC: US Department of  Health and Human Services, 2003.     Lewis, Suzanne. “Creating and Sharing  Opportunities for Lifelong Learning.”  Education for Library and Information  Services: A Festschrift to Celebrate  Thirty Years of Library Education at  Charles Sturt University. Eds. Philip  Hider and Bob Pymm Wagga Wagga,  NSW: Centre for Information Studies  Charles Sturt University, Occasional  Publications no. 2: 121‐4, 2006. 24 Feb.  2007  .     Marshall, Joanne Gard, and Carol Perryman.  “INLS 210‐096: Evidence Based  Information Practice.” Chapel Hill, NC:  University of North Carolina at Chapel  Hill, School of Information and Library  Science. 24 Feb. 2007  .    Meijers, Judith M.M., Maaike A.P. Janssen,  Greta G. Cummings, Lars Wallin,  Carole A. Estabrooks, and Ruud Y.G.  Halfens. “Assessing the Relationships  Between Contextual Factors and  Research Utilization in Nursing:  http://www.biomedcentral.com/1472%E2%80%90 http://www.csu.edu.au/faculty/sciagr/ http://www.unc.edu/~cperryma/Teac Evidence Based Library and Information Practice 2007, 2:1  106 Systematic Literature Review.” Journal  of Advanced Nursing 55.5 (2006): 622‐ 35.    Nakayama Takeo, Nobuko Hirai, Shigeaki  Yamazaki, and Mariko Naito.  “Adoption of Structured Abstracts by  General Medical Journals and Format  for a Structured Abstract.” Journal of  the Medical Library Association 93.2  (Apr. 2005): 237‐42. 24 Feb. 2007  .     Partridge, Helen, and Gillian Hallam.  “Educating the Millennial Generation  for Evidence Based Information  Practice.” Library Hi Tech 24.3 (2006):  400‐19.    Pearce‐Smith, Nicola. “Is Evidence Based  Librarianship Just an Attractive  Theory, or Can Practicing Librarians  Make it Work in Real Life?“ EAHIL  Workshop. Implementation of Quality  Systems and Certification of  Biomedical Libraries. Palermo. 23‐25  June 2005.      Perryman, Carol, and Dihui Lu. “Finding  Our Foundation: Analysis of the  Library and Information Science  Abstracts Database for Research Article  Retrievability.” Medical Library  Association Annual Meeting, Phoenix,  AZ. 23 May 2006.    Plint Amy C., David Moher, Andra  Morrison, Kenneth Schulz, Douglas G.  Altman, Catherine Hill, and Isabelle  Gaboury. “Does the CONSORT  Checklist Improve the Quality of  Reports of Randomised Controlled  Trials? A Systematic Review.” Medical  Journal of Australia. 185.5 (4 Sept.  2006): 263‐7. 24 Feb. 2007  .   Sackett, David L. “The Sins of Expertness  and a Proposal for Redemption.” BMJ.  320.7244 (6 May 2000): 1283. 24 Feb.  2007  .     Wright, Wilbur. (1908)  Speech presented to  the Aero Club of France, Paris, France.    Yu, Fei, Jan Sullivan, and Leith Woodall.  “What Can Students’ Bibliographies  Tell Us? Evidence Based Information  Skills Teaching for Engineering  Students.” Evidence Based Library and  Information Practice 1.2 (2006): 12‐22.   24 Feb. 2007  .      http://www.pubmedcentral.nih.gov/a http://www.mja.com.au/public/issues/ http://www.bmj.com/cgi/content/full/ http://ejournals.library.ualberta.ca/ind