Evidence Based Library and Information Practice Evidence Based Library and Information Practice 2010, 5.1  Evidence Based Library and Information Practice       Commentary    An Evidence Based Checklist for the Peer Review of Electronic Search Strategies (PRESS  EBC)     Jessie McGowan  Senior Information Scientist, Adjunct Professor  Faculty of Medicine, University of Ottawa  Institute of Population Health, University of Ottawa  Ottawa Hospital Research Institute  Ottawa, Ontario, Canada  Email: jmcgowan@uottawa.ca    Margaret Sampson  Manager of Library Services   Children’s Hospital of Eastern Ontario Research Institute  Ottawa, Ontario, Canada  Email: msampson@cheo.on.ca    Carol Lefebvre  Senior Information Specialist   UK Cochrane Centre, National Institute for Health Research  Oxford, United Kingdom  Email: clefebvre@cochrane.ac.uk    Received: 18 Jan. 2010          Accepted: 18 Jan. 2010       2010 McGowan, Sampson and Lefebvre. This is an Open Access article distributed under the terms of the  Creative Commons‐Attribution‐Noncommercial‐No Derivative Works License 2.5 Canada  (http://creativecommons.org/licenses/by‐nc‐nd/2.5/), which permits distribution provided the original work is  properly attributed, not used for commercial purposes, and not altered or transformed.    The quality of literature searches is extremely  important, especially for health technology  assessments (HTAs) and systematic reviews.  High quality searches of information resources  are essential components in the efforts  towards accuracy and completeness of the  evidence base. Ascertaining whether a high  quality search has been conducted, however,  can be difficult. Factors contributing to search  quality include the skills set of the person (or  persons) who  develop/s the search strategies  and conduct/s the searches, and the use of a  systematic approach (McGowan & Sampson,  2005). In the past, however, there has been  little consistency in and poor quality of  reporting of searches, so it is often difficult to  evaluate the actual searches that were  conducted (Sampson, McGowan, Tetzlaff,  Cogo, & Moher, 2008; Sampson & McGowan,  2006).   149 mailto:jmcgowan@uottawa.ca mailto:msampson@cheo.on.ca mailto:clefebvre@cochrane.ac.uk Evidence Based Library and Information Practice 2010, 5.1  We received funding from the Canadian  Agency for Drugs and Technologies in Health  (CADTH) to identify and assess the impact of  errors in the elements of electronic search  strategies associated with accuracy and  completeness of the evidence base and to  propose enhancements in the methods used  for creating and evaluating search strategies.  The project was called Peer Review of  Electronic Search Strategies (PRESS).  The  research consisted of three main components:  a systematic review of the evidence relating to  quality issues and errors in electronic search  strategies; a web‐based survey of expert  opinion on the impact of search elements on  search results and the importance of these  elements in the peer review of electronic  search strategies; and a peer review forum to  test the procedural aspects of receiving and  responding to peer review requests  electronically.     The systematic review was used to find out if  any existing checklists could be identified, and  adapted if necessary, but no validated  checklists were found. We then reviewed the  information retrieval literature to develop an  evidence based set of elements that could be  used to evaluate electronic search strategies.  This draft set of items was additionally  informed by expert opinion and a final set of  peer review elements was developed. These  peer review elements represent only those  aspects of an electronic search strategy that  can be demonstrated to reduce precision or  recall (sensitivity) of the search if not skillfully  executed. These elements, therefore, represent  those aspects of the search that should be  subjected to peer review.    The full report of the methods and results of  this research was published by the Canadian  Association for Drugs and Technology in  Health (CADTH) (Sampson, McGowan,  Lefebvre, Moher, & Grimshaw, 2008).  Additionally, a more concise journal article  summarizing the findings was published  (Sampson et al., 2009).    We presented our findings to groups of  librarians at meetings and workshops. It was  by the dissemination and interaction with the  stakeholders of this work (i.e., expert searchers  / librarians) that we realized that to translate  this work fully into practice a checklist with  concise guidance and an active web‐based  forum were required. Based on this experience  and the findings described above, we  developed an evidence based checklist that  librarians and other searchers can use to guide  and inform the peer review of electronic  search strategies. We present this evidence  based assessment checklist here (Table 1) with  an explanation of each of the elements (Table  2).    We present these two tools for use in  accordance with a Creative Commons  Attribution ‐ NonCommercial ‐ No Derivative  Works 2.5 Canada License  (http://creativecommons.org/). We have  selected a non‐commercial license to place  these tools in the public domain, to be used in  the spirit of indirect reciprocity or generalized  reciprocity (also known as ’pay it forward’)  (Ohtsuki & Iwasa, 2004; ʺPay it Forwardʺ,  2009). Rather than directly reciprocating the  benefit of receiving peer review of one’s own  search, one would reciprocate by undertaking  conscientious peer review of another search,  not necessarily a search by the person who  undertook the peer review of your search.  While the evidence on peer review is mixed, if  most grant applications, or most manuscripts,  are peer reviewed by two reviewers, than for  each submitted grant application or article, a  researcher or author should be willing to  undertake two peer reviews of other grant  applications or articles in order to sustain the  scientific community.  Peer review of journal  articles and grant applications is often  anonymous. We suggest that if peer review of  electronic search strategies were not  anonymous, it might enhance the reviewer’s  reputation if done well. Such a gain in  reputation should act as positive  reinforcement for the reviewer, increasing the  likelihood that their future reviews would also  be of high quality (Mashima & Takahashi,  2008). Obtaining good quality peer reviews  should also strengthen the sense of  community among those using the PRESS  150 Evidence Based Library and Information Practice 2010, 5.1  151 forum, by advancing community objectives of  achieving the highest possible search quality  (Mashima & Takahashi, 2008). We have  selected a ‘no derivative work’ license, as the  elements of the checklist are evidence based.  We assert that they should be used without  amendment or local adaptation. If new  evidence is generated, the authors undertake  to update the checklist accordingly.    Finding a suitable and willing peer reviewer is  an additional challenge for anyone wishing to  have their search peer reviewed. We are  currently exploring a PRESS Forum where  librarians/ expert searchers can submit their  own searches for peer review and identify  searches from other librarians/expert searchers  and peer review them. A prototype forum was  developed to define the important elements  for an effective, interactive peer review forum.  It was premised on the existence of strong  community and the values of reciprocity that  characterize the library and information  profession. The pilot forum presaged the  phenomenal rise of web‐based social  networking and used a programmed database  as a back‐end. A new PRESS Forum is being  developed using newer social networking  tools to ensure sustainability.     Table 1  Evidence Based Assessment Form for the Peer Review of Electronic Search Strategies (PRESS EBC)  PRESS EBC Assessment Form 1. Translation of the research question: Adequate Adequate with recommendations Needs revision Provide an explanation or example _______________________________________________ _______________________________________________ 2. Boolean and proximity operators: Adequate Adequate with recommendations Needs revision Provide an explanation or example _______________________________________________ _______________________________________________ 3. Subject headings: Adequate Adequate with recommendations Needs revision Provide an explanation or example _______________________________________________ _______________________________________________ Evidence Based Library and Information Practice 2010, 5.1  4. Natural language / free-text: Adequate Adequate with recommendations Needs revision Provide an explanation or example _______________________________________________ _______________________________________________ 5. Spelling, syntax and line numbers: Adequate Adequate with recommendations Needs revision Provide an explanation or example _______________________________________________ _______________________________________________ 6. Limits and filters: Adequate Adequate with recommendations Needs revision Provide an explanation or example _______________________________________________ _______________________________________________ 7. Search strategy adaptations: Adequate Adequate with recommendations Needs revision Provide an explanation or example _______________________________________________ _______________________________________________ © Sampson M, McGowan J, Lefebvre C                   152 Evidence Based Library and Information Practice 2010, 5.1  153 Table 2  Elements for the Peer Review of Electronic Search Strategies (PRESS EBC Elements)    References Acknowledgements     Mashima, R. & Takahashi, N. (2008). The  emergence of generalized exchange by  indirect reciprocity. In A. Biel, D. Eel, T.  Gärling, & M. Gustafsson (Eds.), New  issues and paradigms in research on social  dilemmas (pp. 159‐176). New York, NY:  Springer.  We wish to acknowledge and thank David  Moher, Jeremy Grimshaw and Elise Cogo for  their work on the original grant from the  Canadian Agency for Drugs and Technologies  in Health. We also wish to acknowledge and  thank Janet Joyce, Raymond Daniel, Tamara  Rader, Nick Barrowman, Isabelle Gaboury and  Alex Korablin for their roles in this project.  This research was supported by a capacity‐ building grant from the Canadian Agency for  Drugs and Technologies in Health.   McGowan, J. & Sampson, M. (2005). Systematic  reviews need systematic searchers.  Journal of the Medical Library Association,  93, 74‐80.   Evidence Based Library and Information Practice 2010, 5.1  Ohtsuki, H. & Iwasa, Y. (2004). How should we  define goodness? Reputation dynamics  in indirect reciprocity. Journal of  Theoretical Biology, 231, 107‐120.  Sampson, M. & McGowan, J. (2006). Errors in  search strategies were identified by  type and frequency. Journal of Clinincal  Epidemiology, 59, 1057‐1063.  Sampson, M., McGowan, J., Cogo, E.,  Grimshaw, J., Moher, D., & Lefebvre,  C. (2009). An evidence‐based practice  guideline for the peer review of  electronic search strategies. Journal of  Clinical Epidemiology, 62, 944‐952.  Sampson, M., McGowan, J., Lefebvre, C.,  Moher, D., & Grimshaw, J. M. (2008).  PRESS: Peer review of electronic search  strategies. CADTH Technical Report.  Retrieved 20 Feb. 2010  from:  http://cadth.ca/index.php/en/publication/78 1.Appendices  Sampson, M., McGowan, J., Tetzlaff, J., Cogo,  E., & Moher, D. (2008). No consensus  exists on search reporting methods for  systematic reviews. Journal of Clinical  Epidemiology, 61, 748‐754.  Pay It Forward. (2009). In Wikipedia. Retrieved  November 24, 2009, from  http://en.wikipedia.org/w/index.php?ti tle=Pay_it_forward&oldid=327729147                154 http://cadth.ca/index.php/en/publication/781.Appendices http://cadth.ca/index.php/en/publication/781.Appendices http://en.wikipedia.org/w/index.php?title=Pay_it_forward&oldid=327729147 http://en.wikipedia.org/w/index.php?title=Pay_it_forward&oldid=327729147 Commentary An Evidence Based Checklist for the Peer Review of Electronic Search Strategies (PRESS EBC) We received funding from the Canadian Agency for Drugs and Technologies in Health (CADTH) to identify and assess the impact of errors in the elements of electronic search strategies associated with accuracy and completeness of the evidence base and to propose enhancements in the methods used for creating and evaluating search strategies. The project was called Peer Review of Electronic Search Strategies (PRESS). The research consisted of three main components: a systematic review of the evidence relating to quality issues and errors in electronic search strategies; a web-based survey of expert opinion on the impact of search elements on search results and the importance of these elements in the peer review of electronic search strategies; and a peer review forum to test the procedural aspects of receiving and responding to peer review requests electronically. The systematic review was used to find out if any existing checklists could be identified, and adapted if necessary, but no validated checklists were found. We then reviewed the information retrieval literature to develop an evidence based set of elements that could be used to evaluate electronic search strategies. This draft set of items was additionally informed by expert opinion and a final set of peer review elements was developed. These peer review elements represent only those aspects of an electronic search strategy that can be demonstrated to reduce precision or recall (sensitivity) of the search if not skillfully executed. These elements, therefore, represent those aspects of the search that should be subjected to peer review. The full report of the methods and results of this research was published by the Canadian Association for Drugs and Technology in Health (CADTH) (Sampson, McGowan, Lefebvre, Moher, & Grimshaw, 2008). Additionally, a more concise journal article summarizing the findings was published (Sampson et al., 2009). PRESS EBC Assessment Form