Microsoft Word - ART_Zhang.doc Evidence Based Library and Information Practice 2006, 1:4  3 Evidence Based Library and Information Practice     Article    Reporting of the Role of the Expert Searcher in Cochrane Reviews       Li Zhang  Information Services Librarian   University of Saskatchewan Library  Saskatoon, Saskatchewan, Canada  E‐mail: li.zhang@usask.ca    Margaret Sampson  Senior Information Specialist   Chalmers Research Group  Children’s Hospital of Eastern Ontario Research Institute  Ottawa, Ontario, Canada  E‐mail: msampson@cheo.on.ca     Jessie McGowan  Senior Information Scientist  Institute of Population Health  University of Ottawa  Ottawa, Ontario, Canada  E‐mail: jmcgowan@uottawa.ca      Received: 29 May 2006    Accepted: 14 July 2006      © 2006 Zhang, Sampson, and McGowan. This is an Open Access article distributed under the terms of the  Creative Commons Attribution License (http://creativecommons.org/licenses/by/2.0), which permits  unrestricted use, distribution, and reproduction in any medium, provided the original work is properly  cited.    Abstract    Introduction ‐ This study applied the principles of evidence based information practice to  clarify the role of information specialists and librarians in the preparation of Cochrane  systematic reviews and to determine whether information specialists impact the quality of  searching in Cochrane systematic reviews.   Objectives ‐ This research project sought to determine how the contribution of the person  responsible for searching in the preparation of Cochrane systematic reviews was reported;  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:4  4 whether the contribution was recognized through authorship or acknowledgement; the  qualifications of the searcher; and the association between the type of contributorship and  characteristics of the search strategy, assessability, and the presence of certain types of  errors.    Methods     Data sources: The Cochrane Database of Systematic Reviews, The Cochrane Library 3 (2002).     Inclusion criteria: The study included systematic reviews that met the following criteria: one  or more sections of the Cochrane Highly Sensitive Search Strategy were utilised, primary  studies were either randomised controlled trials (RCTs) or quasi‐RCTs, and included and  excluded studies were clearly identified.     Data extraction: Two librarians assessed the searches for errors, establishing consensus on  discordant ratings.     Results ‐ Of the 169 reviews screened for this project, 105 met all eligibility criteria. Authors  fulfilled the searching role in 41.9% of reviews studied, acknowledged persons or groups in  13.3%, a combination in 9.5%, and the role was not reported in 35.2% of reviews. For the 78  reviews in which meta‐analyses were performed, the positions of those responsible for  statistical decisions were examined for comparative purposes. The statistical role was  performed by an author in 47.4% of cases and unreported in the same number of cases.  Insufficient analyzable data was obtained regarding professional qualifications (3/105 for  searching, 2/78 for statistical decisions).     Search quality was assessed for 66 searches across 74 reviews. In general, it was more  possible to assess the search quality when the searcher role was reported ( χ 2=7.41, df=1,  p<.01). An association was found between the reporting of searcher role and the presence of  a consequential error (Fisher’s exact ptwo‐sided=.003). There was no association between the  number of consequential errors and how the contribution of the searcher was reported  ( χ 2= 15.536, df=16, p=.486).     Conclusions ‐ Qualifications of the persons responsible for searching and statistical  decision‐making were poorly reported in Cochrane reviews, but more complete role  reporting is associated with greater assessability of searches and fewer substantive errors in  search strategies.       Introduction    The systematic review is one of the most  important tools used in the evidence based  medicine movement. The Cochrane Database  of Systematic Reviews (CDSR) is the main  product of the Cochrane Collaboration, an  international non‐profit organization  dedicated to promoting evidence based  medicine. The reviews in CDSR are  conducted primarily by health care  professionals who volunteer for one of the  Cochrane Review Groups (the Cochrane  Collaboration). A systematic review  involves a comprehensive search for  relevant studies on a specific topic, and  those identified are then assessed and  synthesized according to a predetermined  and explicit method (Rychetnik et al. 542).  Search quality is the foundation of a  systematic review, and it is anecdotally  known that information specialists and  Evidence Based Library and Information Practice 2006, 1:4  5 librarians may play an important role in the  systematic reviewing process because of  their expertise in information retrieval.     However, whether the involvement of an  expert searcher in systematic reviews  improves the quality of the search is  unknown. Evidence based librarianship and  information practice has gained momentum  in the past few years. Its ultimate goal is to  improve the quality of professional  judgment and to develop higher quality  information support by utilizing the best  available evidence (Booth, “Bridging”). This  study applied the principles of evidence  based information practice in order to find  evidence from the systematic reviews in  CDSR to clarify the role of information  specialists and librarians in the development  of Cochrane systematic reviews and to  determine whether information specialists  have an impact on the quality of searching  in Cochrane systematic reviews.    Literature Review    Until quite recently, the methods and  reporting of searching have been given little  attention in systematic reviews. QUOROM  reporting standards, which have been  endorsed by numerous journal editors as a  guideline for reporting systematic reviews  (International Committee of Medical Journal  Editors), call only for reporting information  sources searched and restrictions such as  publication year and language (Moher et al.,  “QUOROM” 1897). The Oxman and Guyatt  quality scale for systematic reviews requires  only two or more searching methods, main  terms, and dates for electronic searching  (1274). Although the Cochrane  Collaboration gives guidelines on how to  report the literature search process, the  structure of Cochrane systematic reviews  places the search outside of the methods  section of the report (Alderson, Green, and  Higgins 17). Newer guidance requires more  complete reporting (Sampson et al., “Search  Reporting”), but only two studies advocate  reporting the qualifications of the person  doing the search (Jensen and Ket; Stroup et  al. 2009).     Complete reporting of literature searching  for systematic reviews would allow readers  to judge the breadth and depth of the search,  thus they could make informed decisions  about the applicability and credibility of the  systematic review results based on the  evidence. However, the bibliographic  database search methods used in systematic  reviews are often not reported in sufficient  detail to allow replication, and some have  argued that journal formats are unlikely to  support full reporting due to space  constraints (Chalmers and Haynes).  A  study that assessed the quality of reporting  of systematic reviews in pediatric  complementary and alternative medicine  found that half of the reviews reported the  search terms used, but that very few (8.5%)  actually listed the search strings (Moher et  al., “Assessing” 5‐6). Patrick and colleagues  found that only 6.7% of a random sample of  meta‐analyses had both reported the search  strategies in sufficient detail and had  provided evidence of the effectiveness of the  search strategy (198).     Further, errors in the search strategies of  systematic reviews are common, even when  the search strategy is reported in enough  detail to allow replication (Sampson and  McGowan). The rationale for choices such as  selection of databases, years searched, or  material to be hand searched, is often not  defended (Weller 163‐4).  More recently,  proposed STARLITE criteria suggest greater  detail for reporting search strategies for  systematic reviews (Booth, “STARLITE”).  These criteria include reporting sampling  strategy, type of study, approaches, range of  year, language, inclusions and exclusions,  terms used, and electronic sources.     Evidence Based Library and Information Practice 2006, 1:4  6 Weller called for the involvement of a  librarian in the search process in order to  improve the quality of conducting and  documenting search strategies (163). The  Cochrane Reviewers’ Handbook also advocates  librarian involvement (Higgins and Green  71‐72). However, whether librarian  involvement improves reporting of search  methods, improves retrieval, or limits bias  of systematic reviews is unknown. For  example, a study in 1985 comparing the  performance of search strategies developed  by librarians and non‐librarians found that  the librarians did not systematically  outperform the non‐librarians (Crumley et  al.; Kirpalani et al. 544). Listing who is  responsible for searching in a systematic  review delivers important information,  because it not only establishes credit but  also indicates who is responsible for the  quality of the search (Rennie, Yank, and  Emanuel). Knowing the credentials of those  undertaking the search could be a surrogate  for determining the likely quality of the  evidence base in the absence of full  reporting of search details.  Problems in  conducting and reporting the search are  common in systematic reviews.  In order to  find ways to improve the search quality, it is  necessary to explore the relationship  between the qualifications of the searcher  and the assessability of the search strategies.  In order to find ways to improve the search  quality, it is also necessary to determine,  whether errors were apparent in the  electronic search strategies. The research  results will provide evidence to help  systematic reviewers decide whether a  librarian should be involved.    Objectives    1. This research will determine the  contribution of the person responsible for  searching and will examine the statistician’s  role for comparison. Specifically, the study  will examine the following questions:    a. How many reviews reported the  contribution of the person responsible  for searching?  b. If the contribution of the searcher is  recognized, is it through authorship or  acknowledgement?  c. What is the qualification of the person  responsible for searching? The term  ‘qualification’ used in this study refers  to job title, credential, or professional  training, and explains why the person is  qualified to perform the job.  d. How many reviews reported the  contribution of the person responsible  for statistical decisions?  e. If the contribution of statistical decision  is recognized, is it through authorship  or acknowledgement?  f. What is the qualification of the person  responsible for statistical decisions?  g. This research report will compare the  reporting of searchers and statisticians.    2. A further purpose of this research is to  determine whether there is an association  between the type of contributorship and  problems in reporting and conducting the  search. Specifically, the following questions  will be answered:    a. What is the relationship, if any, between  the search role reporting and the  assessability of the search?   b. What is the relationship, if any, between  the type of contributorship (author,  acknowledged contributor, unknown)  and the presence of certain types of  search errors?    Methods    Sample: A sample of 169 Cochrane reviews  from CDSR, The Cochrane Library, 3 (2002)  was analysed (representing approximately  10% of reviews published in CDSR at that  time).  This collection was originally  developed for a larger study “Finding  Evidence to Inform the Conduct, Reporting,  Evidence Based Library and Information Practice 2006, 1:4  7 and Dissemination of Systematic Reviews”  (abbreviated as “FindEv” hereafter). The  method of how this collection was identified  was reported elsewhere (Sampson et al.,  “Search Engines”; Zhang, Ajiferuke, and  Sampson).  The structured and relatively  more detailed reporting found in Cochrane  reviews, compared to journal‐published  reviews, makes the Cochrane Library an  efficient lab for studying some aspects of  review methodology. Cochrane reviews  usually report electronic search strategies  and include a section of the review  specifically for reporting contributorship  (Higgins and Green 38), thus providing data  for this study.    Eligibility criteria: To be included in this  study (and the “FindEv” study), each  systematic review had to meet all three of  the following criteria: it had to use at least  one phase of the Cochrane Highly Sensitive  Search Strategy (HSSS), report the citations  for included and excluded studies, and  indicate if primary studies were either RCTs  or quasi‐RCTs.  Of the original 169 reviews  screened for the study, 28 were excluded  because they did not use at least one phase  of HSSS; 29 did not report the citations for  included or excluded studies; and 7 did not  have ‘RCT’ or ‘quasi‐RCT’ as an inclusion  criterion.    There were 105 that met all three screening  criteria, and of those there were 74 studies  that reported the search in sufficient detail  to allow assessment for search errors. Eight  searches were duplicates of those used in  other included reviews and were eliminated,  leaving 66 unique searches in the final  assessment to identify search errors.    For the analysis of contribution to the  statistical decision, 78 reviews that pooled 2  or more primary studies in a meta‐analysis  were examined to determine the  contributorship of the person(s) responsible  for the statistical decision. (The screening  and inclusion/exclusion process is  illustrated in Figure 1).                                             Figure 1. Flow of systematic reviews through the phase of screening and eligibility evaluation.  * Only the primary exclusion criteria are listed.  169 Systematic reviews identified in CDSR 64 Systematic reviews failed to meet inclusion criteria *    28 did not use at least one phase of HSSS    29 did not report the citations for included and excluded studies    7 RCT or quasi‐RCT not an inclusion criteria  105 Systematic reviews included: examined contributorship of searching 78 Included meta‐analytic pooling: examined contributorship of statistical decision  74 Assessable for search errors  66  assessed for search errors    8  assessable, but duplicates of searches  previously assessed  Evidence Based Library and Information Practice 2006, 1:4  8 Contributorship reporting: Two reviewers (MS  and JM) read each included systematic  review to determine how the contribution of  the bibliographic searcher(s) was reported  (i.e., as author, acknowledged, or not  reported). The qualifications of the  searcher(s) were also examined. For those  systematic reviews that included at least one  pooled meta‐analysis, the contribution and  the qualification of the person(s) responsible  for statistical decisions was examined for  comparison.     Search accuracy assessment: Each included  systematic review was further screened to  determine if the subject search was  presented in enough detail to permit  assessment (LZ). The search accuracy for  this set of systematic reviews was  independently assessed by two reviewers  (MS and JM), with discrepancies resolved  through consensus. The detailed criteria of  search accuracy are reported elsewhere  (Sampson and McGowan). Mainly, the types  of search errors were classified into  consequential error and inconsequential  error. The types of search errors that could  potentially have negative consequences on  the evidence base of the review (meaning  they could affect recall of relevant studies)  were defined as consequential errors, and  were considered to be the following:  spelling errors, missed spelling variants,  truncation errors, logical operator errors,  missed MeSH, wrong line numbers, search  not tailored for other databases, and  combining MeSH and free text terms in the  same line. Other types of errors such as  redundancies without rationale, explosion  when no narrower terms existed, and the  inclusion of irrelevant terms were  considered as inconsequential errors.    Data Analysis: Study characteristics were  extracted by a single reviewer (MS). SRS  software () was used  for all data management including screening  of items for eligibility and extraction of all  data. SPSS () was  used for statistical analysis and table  preparation. Analysis was planned by MS,  JM and IG, and was conducted by MS and  IG.    Results    The characteristics of the systematic reviews  included in this study are listed in Table 1.       n (Total=105)  %  Year of publication or substantive update      2002  22  21.0  2001  35  33.3  2000  22  21.0  1999  18  17.1  1998  5  4.8  1997  3  2.9        Focus of the review      Treatment  89  84.8  Prevention  14  13.3  Diagnosis  1  1.0  Other  1  1.0        Study designs included      RCT only  55  52.4  http://www.spss.com Evidence Based Library and Information Practice 2006, 1:4  9 RCT and quasi‐RCT  39  37.1  RCT and other controlled trials  11  10.5        Meta‐analysis done  78  74.3        Country of first author      UK   48  45.7  Australia   13  12.4  USA   12  11.4  Netherlands   4  3.8  Finland   4  3.8  Canada   4  3.8  New Zealand   4  3.8  Germany   3  2.9  Hong Kong   2  1.9  Norway   2  1.9  Other  9  8.6        Review Group      Musculoskeletal Injuries  21  20.0  Eyes and Vision  12  11.4  Renal  9  8.6  Prostatic Diseases and Urologic Cancers  8  7.6  Schizophrenia  6  5.7  Back  6  5.7  Depression, Anxiety and Neurosis  5  4.8  Upper Gastrointestinal and Pancreatic Diseases  4  3.8  Infectious Diseases  4  3.8  Skin  3  2.9  Menstrual Disorders and Subfertility  3  2.9  Other  24  22.9  Table 1. Characteristics of included studies.  The contribution of the person responsible  for searching was reported in 68/105 reviews  (64.8%); authors fulfilled the searching role  in 44/105 reviews (41.9%), acknowledged  persons or groups (including Trial Search  Coordinators of Cochrane Review Groups)  in 14/105 (13.3%), a combination in 10/105  (9.5%), and the role was not reported in  37/105 reviews (35.2%). Only 3/105 (2.9%)  reported that the search was conducted by a  librarian and in most cases searcher  qualifications were not reported. There was  insufficient data therefore, to analyze  whether the quality of the searches carried  out by librarians was better than the quality  of those performed by non‐librarians. (Table  2).          Evidence Based Library and Information Practice 2006, 1:4  10   Searching    n   %  Role fulfilled by:      Author  44  41.9  Acknowledged named person(s)  8  7.6  Acknowledged group  6  5.7  Combination of the above  10  9.5  Not reported  37  35.2  Total  105    Was the person fulfilling the role a librarian?                Yes  3  2.9  No  2  1.9  Can’t tell  63  60.0  N/A (role not reported)  37  35.2  Total  105      Table 2. Search role reporting (N=105)    Comparison of reporting contributorship of  searchers and persons responsible for statistics    In 78 reviews a meta‐analysis was  performed, allowing a comparison of the  reporting of contributorship of bibliographic  searchers and persons responsible for  statistics. 57/78 (73.1%) reviews had a  statement of contributorship. For both  searching and statistical components, when  a statement of contributorship was present,  role reporting was more likely to be  complete (Search role reported Pearson χ 2=  21.914, 1 df, pone‐sided <.001; Statistical role  reported Pearson χ 2= 21.35, 1df, pone‐sided  <.001).     The person responsible for statistical  decisions was an author in 37/78 (47.4%)  cases, and unreported in the same number  of cases. There were 51/78 (65.3%) reviews  that reported the types of contributions of  the person(s) responsible for searching,  while 41/78 (52.5%) reported the types of  contributions of the person(s) responsible  for statistical analysis (Table 3). Of the 78  reviewed meta‐analyses, the qualifications   of the person(s) responsible for searching or  statistical decisions were not reported or  were unclear in all but 3 that indicated  library science training and 2 that reported  statistical qualifications (Table 4).        Searching  Statistics  Role fulfilled by:  n   %  n  %  Author  32  41.0  37  47.4  Acknowledged named person(s)  6  7.7  3  3.8  Acknowledged group  4  5.1  0  0.0  Combination of the above  9  11.5  1  1.3  Not reported  27  34.6  37  47.4  Total  78    78      Table 3. Role reporting for the search and the statistical analysis for reviews that had both a search and a  meta‐analysis (N=78)  Evidence Based Library and Information Practice 2006, 1:4  11     Searching  Statistics  Was the person fulfilling the role a librarian  or statistician?  n  %  n  %  Yes  3  3.8  2  2.6  No  1  1.3  0  0.0  Can’t tell  47  60.2  39  50.0  N/A (role not reported)  27  34.6  37  47.4  Total  78    78    Table 4. Comparison of qualification reporting of librarian and statistician (when a meta‐analysis was  performed, N = 78)  54 20 14 17 0 10 20 30 40 50 60 Search role reported Search role not reported N o f C oc hr an e R ev ie w s Search assessable Search not assessable   Figure 2. Search role reporting and assessability of the search (N=105)    Search quality    It was possible to assess 74 of 105 (70.5%)  reviews for search quality. Of the 74 reviews,  54 reported the searcher role, 20 did not. It  was possible to assess the search accuracy in  54 of 68 (79.4%) reviews where the searching  role was reported.  Where there was no  attribution of the searching role (37 reviews),  it was only possible to assess the search  strategies in 20 reviews (54.1%)  (Figure 2).     This result suggests that it was more likely  to be possible to assess search quality when  searcher role was reported ( χ 2=7.41, df=1,  p<.01).     Search quality was assessed for 66 searches  across 74 reviews.  Consequential error  presence rate was 32/47 (68.1%) when the  searching role was reported, and 19/19  (100%) when not reported (Table 5). An  association between the reporting of   Evidence Based Library and Information Practice 2006, 1:4  12   Number of consequential errors      0  1≥   Total  Searching role reported  15  32  47  Searching role not reported  0  19  19  Total  15  51  66    Table 5. Presence of consequential errors and reporting of searching role (Total searches: 66)        Number of Consequential Errors   0  1  2  3  4  Total  Author  8  8  7  4  1  28  Acknowledged named  person(s)  2  2  2  1  0  7  Acknowledged group  3  2  1  0  0  6  Combination of the  above  2  3  0  1  0  6  Was the  searching  role  fulfilled by  an:  Not reported  0  9  7  1  2  19  Total  15  24  17  7  3  66    Table 6.  Number of consequential errors and types of contributorship reporting (Total searches: 66)      searcher role and the presence of a  consequential error (Fisher’s exact  ptwo‐ sided=.003) was found. When the role of the  searcher was reported, a consequential error  was less likely to be present. There was no  statistical association between the number of  consequential errors and how the  contributorship (author, acknowledged  person, acknowledged group, combination  of the above, or not reported) of the searcher  was reported ( χ 2= 15.536, df=16, p=.486,  Table 6). As a result, it was not possible to  determine whether fewer consequential  errors appeared in searches when search  authors were recognized or acknowledged.    Discussion     In general, more than half of the reviews  studied here reported the contribution of the  person responsible for the critical tasks of  searching and statistical analysis. Librarians  who participate in or support systematic  reviews must understand the issues of  authorship and contributorship and  advocate for the recognition of their  professional contribution. Listing  contributions imparts important  information and establishes accountability,  responsibility, and credits (Rennie, Yank,  and Emanuel 579). The findings in this  study provide superficial evidence to  support this statement. Search accuracy  could be assessed more frequently when the  searching role was reported. Further, more  complete role reporting is associated with  fewer consequential errors in search  strategies. These findings indicate that the  disclosure of who performed the search  improves the quality of conducting and  reporting of searches for systematic reviews,  possibly because the named contributor  holds responsibility for the work performed.  Therefore, it is suggested that all reviews  should describe who performed the  searching role in the list of contributors,  Evidence Based Library and Information Practice 2006, 1:4  13 because high quality searches are the  foundation of systematic reviews.     There was inadequate reporting of the  qualifications of the searchers to permit an  assessment of the association between the  involvement of librarians and search quality.  It was difficult to assess the professional  qualifications of authors and contributors  because of the Cochrane Collaboration’s  practice of not publishing credentials or job  titles. The MOOSE statement and a newly  developed checklist for reporting literature  searches require that authors of meta‐ analyses report the qualifications of the  searchers (Stroup et al. 2009; Jensen and Ket),  because this may provide indirect evidence  of the quality of the searches (Patrick et al.  199).  Only 3 of 105 reviews indicated that  the searches were performed by librarians,  and most did not report the qualifications of  the searchers. Hence, from this limited data,  it cannot be concluded that qualifications  are a proxy of the search quality in the  absence of full reporting of the search  methods. More research is needed to explore  whether the involvement of a librarian is  associated with better conducting and  reporting of searches for systematic reviews.  Golder and colleagues, for example, recently  reported that few searches in systematic  reviews of adverse effects were reported in  enough detail to allow replication, but that  nearly half of those that could be replicated  were known to have been conducted by a  qualified information specialist (Golder,  Loke, and McIntosh 4). For those reviews  where a meta‐analysis was completed, the  qualifications of the person responsible for  statistical decisions were also not well  reported.     The Cochrane Collaboration has called for  improved reporting of contributorship in its  reviews. The Cochrane Reviewers’ Handbook  has suggested since 1999 that each review  include a list of contributors on the cover  sheet (Clarke and Oxman 99). It also  provides a list of descriptions of potential  contributions. The contributions that are  relevant to searching include developing  search strategy, undertaking searches, and  organizing retrieval of articles. However,  this study showed that 24/105 reviews (23%)  reported the searching role in the  acknowledgement section or in a  combination of author and  acknowledgement sections. The overlap  between reporting of searcher role on the  lists of contributors and acknowledgements  suggests that the distinction between  contributors and acknowledgements is  unclear. It has been suggested that a  research paper should have only one list of  contributors naming and describing the  contributions of all participants, and that the  use of an acknowledgements list should be  restricted to recognition of funding agencies  or corporate bodies (Yank and Rennie 668).  This approach would increase the integrity  of the research publications.     Conclusions  This study showed that more complete  reporting of the searching role is associated  with greater assessability of searches and  fewer substantive errors in search strategies.  This finding provides evidence to confirm  the importance of complete reporting of  literature searching for systematic reviews,  including reporting who performed the  searching role. This evidence should be  incorporated into new guidelines for  reporting of searching for systematic  reviews to improve the quality of the  literature search.    Due to a lack of analyzable data, there was  insufficient evidence to conclude whether  the involvement of a librarian improved the  quality of the literature searches reviewed in  this study. Further investigation needs to be  conducted on this subject. A  recommendation for obtaining additional  supportive data (e.g., who undertook the  Evidence Based Library and Information Practice 2006, 1:4  14 literature search and the qualifications of the  searcher) would be to send questionnaires to  the corresponding authors of published  systematic reviews, asking for their input.  Analysis of this information might provide  more evidence to determine whether  librarian involvement improves the quality  of literature searches in systematic reviews,  thus ensuring that our information practice  is evidence based.     Acknowledgements  The data used in this study is partly based  on a project, “Finding Evidence to Inform  the Conduct, Reporting, and Dissemination  of Systematic Reviews,” funded by the  Canadian Institutes of Health Research  (CIHR Grant MOP57880).    We thank Isabelle Gaboury, MSc for  statistical advice.  Works Cited     Alderson, Phil, Sally Green, and Julian  Higgins, eds. Cochrane Reviewers’  Handbook 4.2.2 [Updated March 2004]  in: The Cochrane Library 1(2004).  Chichester, UK: John Wiley & Sons,  Ltd., 2004.     Booth, Andrew. ʺBridging the Research‐ Practice Gap? The Role of Evidence  Based Librarianship.ʺ The New Review  of Information and Library Research 9  (2003): 3‐23.     Booth, Andrew. ʺBrimful of STARLITE”:  Toward Standards for Reporting  Literature Searches.ʺ Journal of the  Medical Library Association 94.4  (2006): 421‐9.  Chalmers, Iain, and Brian Haynes.  ʺReporting, Updating, and Correcting  Systematic Reviews of the Effects of  Health Care.ʺ BMJ 309.6958 (1994): 862‐ 5.   Clarke, Mike, and Andrew D. Oxman, eds.  Cochrane Reviewersʹ Handbook 4.1  [Updated July 1999] in Reviewer  Manager (RevMan) [Computer  Program]. Version 4.0. Oxford, England:  The Cochrane Collaboration, 1999.   Crumley, Ellen T., Natasha Wiebe , Kristie  Cramer , Terry P. Klassen,  and Lisa  Hartling. ʺWhich Resources Should Be  Used to Identify RCT/CCTs for  Systematic Reviews: A Systematic  Review.ʺ BMC Medical Research  Methodology 5 (2005): 24.   Golder, Su, Yoon Loke, and Heather M.  McIntosh. ʺRoom for Improvement? A  Survey of the Methods Used in  Systematic Reviews of Adverse  Effects.ʺ BMC Medical Research  Methodology 6 (2006): 3.   Higgins, Julian PT, and Sally Green, eds.  Cochrane Handbook for Systematic  Reviews of Interventions 4.2.5  [Updated May 2005]. Chichester, UK:  John Wiley & Sons, Ltd., 2005.   International Committee of Medical Journal  Editors. “Uniform Requirements for  Manuscripts Submitted to Biomedical  Journals: Writing and Editing for  Biomedical Publication.” Updated Feb.  2006. 6 Nov. 2006 <  http://www.icmje.org>.  Jensen, Fabricius M., and Hans Ket. ʺCheck  it Out! A Check‐List for Evaluating the  Reporting of Literature Search  Methodology in HTAs and CPGs.ʺ 2nd  Annual HTAi Meeting. Rome, Italy, 20‐ 22 June 2005.   Kirpalani, Haresh, Barbara Schmidt, K. Ann  McKibbon, R. Brian Haynes, and John  http://www.icmje.org Evidence Based Library and Information Practice 2006, 1:4  15 C. Sinclair. ʺSearching MEDLINE for  Randomized Clinical Trials Involving  Care of the Newborn.ʺ Pediatrics 83.4  (1989): 543‐6.   Moher, David, Deborah J. Cook, Susan  Eastwood, Ingram Olkin, Drummond  Rennie, and Donna F. Stroup,  ʺImproving the Quality of Reports of  Meta‐Analyses of Randomised  Controlled Trials: The QUOROM  Statement. Quality of Reporting of  Meta‐Analyses.ʺ Lancet 354.9193 (1999):  1896‐900.     Moher, David, Karen Soeken, Margaret  Sampson, Leah Ben‐Porat, and Brian  Berman. “Assessing the Quality of  Reports of Systematic Reviews in  Pediatric Complementary and  Alternative Medicine.ʺ BMC Pediatrics  2 (2002): 3.   Oxman, Andrew D., and Gordon H. Guyatt.  ʺValidation of an Index of the Quality  of Review Articles.ʺ Journal of Clinical  Epidemiology 44.11 (1991): 1271‐8.   Patrick, Timothy B., George Demiris, Lillian  C. Folk, David E. Moxley, Joyce A.  Mitchell, and Donghua Tao. ʺEvidence‐ Based Retrieval in Evidence‐Based  Medicine.ʺ Journal of the Medical  Library Association 92.2 (2004): 196‐9.   Rennie, Drummond, Veronica Yank, and  Linda Emanuel. ʺWhen Authorship  Fails. A Proposal to Make Contributors  Accountable.ʺ JAMA 278.7 (1997): 579‐ 85.   Rychetnik, Lucie, Penelope Hawe, Elizabeth  Waters, Alexandra Barratt, and Michael  Frommer. ʺA Glossary for Evidence  Based Public Health.ʺ Journal of  Epidemiology & Community Health  58.7 (2004): 538‐45.   Sampson, Margaret, Jennifer Tetzlaff , Jessie  McGowan, Elise Cogo, and David  Moher. ʺSearch Reporting: Current  Practice and Recommendations from 11  Scales.ʺ XIV  Cochrane Colloquium.  Dublin, Ireland, October 24, 2006.   Sampson, Margaret, and Jessie McGowan.  ʺErrors in Electronic Search Strategies  of Cochrane Reviews Were Identified  by Type and Frequency.ʺ Journal of  Clinical Epidemiology 59.10  (2006):  1057‐64.  Sampson, Margaret, Nicholas J. Barrowman,  David Moher, Tammy J. Clifford,  Robert W. Platt, Andra Morrison, Terry  P. Klassen, and Li Zhang. ʺCan  Electronic Search Engines Optimize  Screening of Search Results in  Systematic Reviews: An Empirical  Study.ʺ BMC Medical Research  Methodology 6 (2006): 7.   Stroup, Donna F., Jesse A. Berlin, Sally C.  Morton, Ingram Olkin, G. David  Williamson, Drummond Rennie, David  Moher, Betsy J. Becker, Theresa A. Sipe,  and Stephen Thacker. ʺMeta‐Analysis  of Observational Studies in  Epidemiology: A Proposal for  Reporting. Meta‐Analysis of  Observational Studies in Epidemiology  (MOOSE) Group.ʺ JAMA 283.15 (2000):  2008‐12.   The Cochrane Collaboration. ʺWhat is the  Cochrane Collaboration?ʺ 20 Nov. 2006.  .  Weller, Ann C. ʺMounting Evidence that  Librarians are Essential for  Comprehensive Literature Searches for  Meta‐Analyses and Cochrane Reports.ʺ  Journal of the Medical Library  Association 92.2 (2004): 163‐4.   http://www.cochrane.org/docs/descrip Evidence Based Library and Information Practice 2006, 1:4  16   Yank, Veronica, and Drummond Rennie.  ʺDisclosure of Researcher  Contributions: A Study of Original  Research Articles in The Lancet.ʺ  Annals of Internal Medicine 130.8  (1999): 661‐70.   Zhang, Li, Isola Ajiferuke, and Margaret  Sampson. ʺOptimizing Search  Strategies to Identify Randomized  Controlled Trials in MEDLINE.ʺ BMC  Medical Research Methodology  6  (2006): 23.