Evidence Based Library and Information Practice Evidence Based Library and Information Practice 2009, 4:3  Evidence Based Library and Information Practice       Commentary    Being a Critical Professional: The Importance of Post‐Publication Peer Review in  Evidence Based Library and Information Practice     Lorie A. Kloda  Associate Editor (Evidence Summaries)  Liaison Librarian, Life Sciences Library, McGill University  Montreal, Quebec, Canada  Email: lorie.kloda@mcgill.ca     Received : 14 August 2009        Accepted : 14 August 2009      © 2009 Kloda. This is an Open Access article distributed under the terms of the Creative  License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,   distribution, and reproduction in any medium, provided the original work is properly cited.  Commons Attribution    Last year, Stewart Brower, co‐editor of the  open access journal Communications in  Information Literacy, defended the peer review  process. He argued that despite its flaws, peer  review helps librarians’ careers. “Peer‐ reviewed articles get librarians promoted.  Peer‐reviewed articles get librarians tenured.”  While this is true for academic librarians in  institutions that promote librarians and grant  them tenure based on articles published, most  library and information professionals are not  in such positions, so why should library and  information professionals care about peer  review?    Lately, it seems as if everyone is talking about  peer review, its benefits and its weaknesses.  By peer review, they usually are referring to  pre‐publication review by experts (“peers”) in  the field, sometimes confidential (“blind”),  sometimes not. Recently, Nature reported on a  hoax article that passed through peer review  (Gilbert) and the New York Times featured a  story about ghostwriting and the medical  literature (Singer). What’s interesting about  these news items is that they question the  effectiveness of the peer review process.    Peer review was never intended to detect  fraud. Its original purpose was to evaluate  research in order to assist the author in  improving it and the editor in deciding  whether or not to publish it (Zuckerman and  Merton 68‐75). Although the process has  evolved since its beginnings in the mid‐17th  century, there has been no standardization of  peer review across journals, and its use did  not become widespread until the mid‐19th  century (Weller 1‐4). As Brower also noted in  his editorial, pre‐publication peer review is  still effective when considered relative to its  original purpose: it assists editors in the  selection of manuscripts and assists authors in  improving their research and writing skills.     Post‐Publication Review    Back to why librarians should care about peer  review in our own field. In addition to  concerns about fraud, some question the   72 mailto:lorie.kloda@mcgill.ca Evidence Based Library and Information Practice 2009, 4:3  effectiveness of peer review in weeding out  substandard or useless research. I would  argue that instead of placing this burden  entirely on the pre‐publication peer review  and editorial processes, we should transfer  some of it to the post‐publication phase. If we  admit that not all original research that gets  published is flawless, then surely we can take  the responsibility of evaluating what we  choose to read. There are two things to  evaluate when considering research: its  validity or accuracy and, when appropriate, its  applicability to current practice.     Librarian as Critic    Librarians and information professionals, who  have a masters degree and sometimes more  advanced education, are equipped to do at  least some evaluation of published research.  We are trained in basic statistical methods  and, in some cases, qualitative design. We also  benefit from our work experience. For those  who lack more advanced critical appraisal  skills and are interested in acquiring them,  online courses, readings, and professional  development workshops are available. All  librarians, as professionals, have a duty not  just to read peer reviewed research, but to  engage in post‐publication review of their  own. Not to do so but instead to take  everything one reads at face value, is  irresponsible.    There is a much published researched  available, and scanning recent tables of  content or search results then deciding to read  something is already an onerous task.  Choosing to read an article based on its title,  abstract, or author is a first step in evaluating a  study’s relevance, or applicability. But it is  essential to remain critical while reading and  interpreting the report. “Critical” in this sense  does not mean negative, but carefully judging,  in the academic sense, as in “critical thinking.”     Traditional publishing dictates a linear process  where a manuscript is submitted, reviewed by  peers, revised, edited and eventually  (hopefully) published. This rather rigid format  persists in our field. Despite technological  advances in format and speed to improve  access, we still submit manuscripts which  undergo the same linear process, and what  emerges is considered something of a “final  product.” But this does not mean that the so‐ called final product is the last word. Librarians  can and should respond to these research  reports, whether by reflection, discussions  with colleagues or in journal clubs. And of  course, we can respond to the original authors.    Evidence Summaries in EBLIP    Formal critical appraisal is a form of post‐ publication peer review. Evidence summaries  published in EBLIP are structured abstracts  accompanied by critical appraisals of original  research reports. These summaries are written  by peers with expertise in specific domains  and research methods. Each evidence  summary is a synopsis of an individual  research article and a commentary on its  validity and applicability. The ultimate goal of  publishing evidence summaries is knowledge  translation, or putting research into practice.  But another goal is for library and information  professionals to think critically and to engage  in a conversation related to the research.    Instead of trying to fix pre‐publication peer  review or replace it, we should consider it as  just one aspect of the review process. After an  article is published, professionals and  researchers should be encouraged to engage  with it – to be critical and reflective. Evidence  summaries are one way to continue the  conversation begun by the original  publications. The summaries are not the final  word either. It is hoped that evidence  summaries will encourage EBLIP readers to  think more critically about the original  research and to engage in conversation about  it.     In the coming year, EBLIP will begin efforts to  inspire these conversations in two ways: first,  by notifying the authors that their publications  have been critically appraised in the journal,  and second, by encouraging these authors and  EBLIP readers to add their own comments to  evidence summaries using the Online Journal  73 Evidence Based Library and Information Practice 2009, 4:3  74 System’s “add comment” feature on each Web  page.    Peer review is not perfect, and neither is most  research. Library and information  professionals can and should evaluate  published research openly and constructively  in order to create conversations and facilitate  putting research into practice. By building on  evidence summaries, EBLIP hopes to start  these conversations and facilitate the transfer  of evidence into library and information  practice.      Works Cited    Brower, Stewart. “Why Peer Review?”  Communications in Information  Literacy 2.2 (Fall 2008): 62‐3.    Gilbert, Natasha. “Editor Will Quit Over Hoax  Paper.” Nature News (June 19 2009).       Singer, Natasha. “Medical Papers by  Ghostwriters Pushed Therapy.” New  York Times (August 4, 2009).       Weller, Ann C. Editorial Peer Review: Its  Strengths and Weaknesses. Medford,  NJ: Information Today, 2001.    Zuckerman, Harriet and Robert K. Merton.  “Patterns of Evaluation in Science:  Institutionalisation, Structure and  Functions of the Referee System.”  Minerva 9.1 (1971): 66‐100.   http://www.nature.com/news/2009/090615/full/news.2009.571.html http://www.nature.com/news/2009/090615/full/news.2009.571.html http://www.nytimes.com/2009/08/05/health/research/05ghost.html http://www.nytimes.com/2009/08/05/health/research/05ghost.html