Microsoft Word - ART1_855_wpage Evidence Based Library and Information Practice 2008, 3:1  3    Evidence Based Library and Information Practice         Article    Developing a Comprehensive Search Strategy for Evidence Based Systematic  Reviews      Julia B. DeLuca   Information Specialist  Centers for Disease Control and Prevention  National Center for HIV/AIDS, Hepatitis, STD and TB Prevention  Division of HIV/AIDS Prevention  Prevention Research Branch  Atlanta, GA, United States of America  Email: zxz4@cdc.gov    Mary M. Mullins  Information Specialist  Centers for Disease Control and Prevention  National Center for HIV/AIDS, Hepatitis, STD and TB Prevention  Division of HIV/AIDS Prevention  Prevention Research Branch  Atlanta, GA, United States of America  Email: asu8@cdc.gov    Cynthia M. Lyles  Mathematical Statistician  Centers for Disease Control and Prevention  National Center for HIV/AIDS, Hepatitis, STD and TB Prevention  Division of HIV/AIDS Prevention  Prevention Research Branch  Atlanta, GA, United States of America  Email: cml6@cdc.gov    Nicole Crepaz  Behavioral Scientist  Centers for Disease Control and Prevention  National Center for HIV/AIDS, Hepatitis, STD and TB Prevention  Division of HIV/AIDS Prevention  Prevention Research Branch  Atlanta, GA, United States of America  Email: ncc9@cdc.gov  Evidence Based Library and Information Practice 2008, 3:1  4   Linda Kay  Behavioral Scientist  Centers for Disease Control and Prevention  National Center for HIV/AIDS, Hepatitis, STD and TB Prevention  Division of HIV/AIDS Prevention  Prevention Research Branch  Atlanta, GA, United States of America  Email: lsk0@cdc.gov    Sekhar Thadiparthi  Business Analyst  Centers for Disease Control and Prevention  National Center for HIV/AIDS, Hepatitis, STD and TB Prevention  Division of HIV/AIDS Prevention  Prevention Research Branch  Atlanta, GA, United States of America  Email: zkv9@cdc.gov      Received: 11 December 2007      Accepted: 10 February 2008      © 2008 De Luca et al.  This is an open access article distributed under the terms of the Creative Commons  Attribution License (http://Creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective ‐ Within the health care field it becomes ever more critical to conduct  systematic reviews of the research literature to guide programmatic activities,  policy‐making decisions, and future research. Conducting systematic reviews  requires a comprehensive search of behavioural, social, and policy research to  identify relevant literature. As a result, the validity of the systematic review findings  and recommendations is partly a function of the quality of the systematic search of  the literature. Therefore, a carefully thought out and organized plan for developing  and testing a comprehensive search strategy should be followed. This paper uses the  HIV/AIDS prevention literature to provide a framework for developing, testing, and  conducting a comprehensive search strategy looking beyond RCTs.    Methods ‐ Comprehensive search strategies, including automated and manual  search techniques, were developed, tested, and implemented to locate published  and unpublished citations in order to build a database of HIV/AIDS and sexually  transmitted diseases (STD) literature. The search incorporated various automated  and manual search methods to decrease the chance of missing pertinent  information. The automated search was implemented in MEDLINE, EMBASE,  PsycINFO, Sociological Abstracts and AIDSLINE. These searches utilized both index  Evidence Based Library and Information Practice 2008, 3:1  5 terms as well as keywords including truncation, proximity, and phrases. The  manual search method includes physically examining journals (hand searching),  reference list checks, and researching key authors.     Results ‐ Using automated and manual search components, the search strategy  retrieved 17,493 articles about prevention of HIV/AIDS and STDs for the years 1988‐ 2005. The automated search found 91%, and the manual search contributed 9% of  the articles reporting on HIV/AIDS or STD interventions with behavioural/biologic  outcomes. Among the citations located with automated searches, 48% were found in  only one database (20% MEDLINE, 18% PsycINFO, 8% EMBASE, 2% Sociological  Abstracts).    Conclusions ‐ Development of a comprehensive review of the literature requires  searching multiple databases and methods of manual searching in order to locate all  relevant citations. Understanding the project needs, recognizing the limitations and  strengths of specific electronic databases, and being aware of other methods for  developing and refining a search are vital in planning an effective and  comprehensive search strategy. Reporting standards for literature searches as part of  the broader push for procedurally transparent and reproducible systematic reviews  is not only advisable, but good evidence based practice.      Introduction    Within evidence based health care it  becomes ever more critical to conduct  systematic reviews of research literature to  guide programmatic activities, policy‐ making, and future research. This increasing  reliance of the health care field (e.g.,  medicine, nursing, radiology, and social  work) on evidence based research highlights  the importance of a comprehensive and  systematic search and examination of the  best scientific literature (Perry 3). Research  synthesis, including systematic reviews and  meta‐analysis, is a valuable tool in tracking  down the strongest scientific evidence to  move prevention into program practice and  to answer clinical questions (Sackett 72).    High quality research synthesis consists of a  systematic process for identifying, critically  appraising, synthesizing, and translating the  information. The first important step in  systematic reviews is to develop and  implement a search strategy for identifying  the relevant scientific literature available  (Jenuwine and Floyd 349; Howes et al. 101;  Bruce and Mollison 14; McManus et al. 1562;  Chalmers, Dickersin, and Chalmers 786;  Crumley and Blackhall 167). Without  identifying the relevant literature in a  systematic, comprehensive, and  reproducible way, the information retrieved  in the search may not be complete and may  potentially lead to differing and potentially  conflicting recommendations (Conn et al.  181; Counsell 384). Despite the critical  implications of a flawed or incomplete  search, published systematic reviews and  meta‐analysis often provide a limited  explanation of the search methods used to  capture the literature (Booth 422; Weller 163;  Zhang, Sampson, and MacGowan 5).  Determining which electronic databases will  be searched; knowing how to apply  indexing terms, key words, and key phrases  to refine a search; deciding whether both  automated and manual components are  necessary; and knowing how to combine  various components are all important  Evidence Based Library and Information Practice 2008, 3:1  6 aspects of producing a high quality  systematic search.    The HIV/AIDS and STD prevention field has  recently begun to rely on research synthesis  to prioritize funding program efforts. The  U.S. Center for Disease Control and  Prevention’s (CDC) Prevention Research  Synthesis (PRS) Project has conducted many  systematic reviews and meta‐analyses to  provide important recommendations for  developing efficacious prevention  programs. High risk groups, such as men  who have sex with men (MSM), HIV‐ positive, African American, and Hispanic  populations have been critically reviewed to  evaluate the efficacy of behavioural  interventions and to identify research gaps  (Crepaz et al. “Prevention;” Crepaz et al.  “Efficacy;” Herbst et al. “Meta‐Analytic  MSM;” Herbst et al. “Hispanic;” Herbst et  al. “Effectiveness MSM;” Johnson et al.;  Simoni et al.). Other types of systematic  reviews have identified specific HIV  behavioural interventions demonstrating  strong evidence of efficacy in reducing HIV  risk (Lyles et al. “Evidence‐Based;”Evidence  Based Interventions). The findings of these  systematic reviews have promoted the US  national dissemination of evidence based  HIV intervention (Collins et al.; Neumann  and Sogolow), and have been incorporated  into the HIV prevention strategic plans of  state health departments across the USA  (Peterson and Randall; Shea et al.).    Systematic reviews of intervention research  have typically focused on randomized  controlled trials (RCTs) (Berry et al.;  Boynton et al.; Crumley et al. “Resources”;  Dickersin, Scherer, and Lefebvre; Helmer et  al.; Higgins and Green; Jadad, Moher, and  Klassen; Robinson and Dickersin; Savoie et  al.; Watson and Richardson). In HIV  prevention research, however, a wealth of  intervention research exists that utilizes  nonrandomized evaluation designs. Some  recent articles have called for an expanded  review of the scientific evidence by  including these types of studies in order to  provide a more integrated picture of the  existing state‐of‐science and broader  evidence based recommendations for public  health practice (Atkins, Fink, and Slutsky;  Victora, Habicht, and Bryce). Incorporating  evidence from a broader range of literature  beyond RCTs requires a more general  systematic search of the literature and, thus,  a more complex search strategy.    This paper is intended to provide a  framework for developing, testing, and  conducting a comprehensive search strategy  looking beyond RCTs, using the PRS Project  and its research into HIV/AIDS behavioural  prevention literature between 1988 and  2005. The contributions of automated and  manual searches, as well as the citations  identified in each electronic database used  in the automated search, were analyzed to  assess their overall importance in  information retrieval within the HIV/AIDS  behavioural intervention research field.    CDC’s HIV/AIDS Prevention Research  Synthesis Project    An understanding of the context and  purpose of a research synthesis project is  essential to guide the development of the  project’s search strategy. The PRS Project  was initiated in 1996 by the Division of  HIV/AIDS Prevention (DHAP) at the CDC  to translate the cumulative scientific  literature into evidence based  recommendations for guiding  programmatic activities, policy‐making, and  future research. The specific goals of the  project are to:    • systematically identify and catalog  the HIV/AIDS or Sexually  Transmitted Diseases (STD)  behavioural prevention research  literature;  Evidence Based Library and Information Practice 2008, 3:1  7 • conduct systematic reviews and  meta‐analyses to understand the  overall efficacy of different types of  behavioural interventions and to  identify efficacious components of  those interventions;  • identify behavioural interventions  with evidence of efficacy; and  • assess gaps in the existing literature  for future research (Sogolow et al.).    An internal database of HIV/AIDS  behavioural prevention literature was  created to serve as the resource for all PRS  research synthesis activities. This database  has been the foundation for many peer‐ reviewed publications (Crepaz et al.  “Prevention;” Crepaz et al. “Efficacy;”  Crepaz et al. “HIV‐Positive;” Passin et al.;  Herbst et al. “Meta‐Analytic MSM;” Herbst  et al. “Hispanic;” Herbst et al. “Effectiveness  MSM;” Lyles et al. “Best‐Evidence”).    Due to the varied goals of the PRS project,  several unique requirements for establishing  the PRS database had to be considered when  developing a systematic search. The focus of  the PRS project is to evaluate the efficacy of  HIV behavioural interventions. Although  this focus is relatively narrow, the goals of  the PRS project required the inclusion of all  HIV/AIDS and STD behavioural prevention  research literature in the PRS database.  Thus, developing a broader scope in the  systematic search allowed for reviews of  background literature or formative research  in HIV behavioural prevention. It was also  important to understand that HIV  prevention literature cuts across multiple  research areas including medicine, public  health, nursing, psychology, sociology,  anthropology, and social work. Searching  across a wide range of research fields is  necessary to ensure the comprehensiveness  of the PRS database.  These features of the  project and the literature made this an ideal  topic area for illustrating a framework for  developing a systematic search strategy that  may be of use in a range of health and social  care fields.  Methods    Developing a systematic search to  accommodate the unique aspects of the PRS  project required extensive planning and  testing. To identify all relevant citations  across multiple sources and within a broad  scope, the search strategy consisted of  automated and manual search components.  The National Library of Medicine (NLM)  estimates 13,000 to 14,000 biomedical  journals are currently being published  worldwide, and that these journals can be  searched through various electronic  databases (NLM Factsheet). No single  electronic database offers complete indexing  of all available citations; therefore multiple  databases need to be searched (Crumley and  Blackhall 167; Alpi 98). Manual searching  was included to complement automated  searches, because relying on electronic  databases alone would have left the searches  vulnerable to missing information or to  errors in indexing.     Automated Search    Focusing the Topic Area    The focus of the PRS project – evaluating the  efficacy of HIV behavioural interventions –  was separated into three unique and equally  important domains to help structure and  guide the development of the automated  search:    • HIV, AIDS, or Sexually Transmitted  Disease (STD)  • prevention, intervention, or  evaluation  • behavioural or biologic outcomes  measuring potential or actual HIV  or STD risk reduction.     Citations referring to HIV/AIDS/STD  behavioural prevention research were  Evidence Based Library and Information Practice 2008, 3:1  8 considered within PRS as “in‐scope”  citations, whereas, citations that  encompassed all three domains (i.e.,  HIV/AIDS/STD behavioural intervention  citations with behavioural or biologic  evaluation data) were the primary focus of  the PRS project.     Database Selection    The PRS project searched four electronic  databases to cover a broad range of health  related literature: MEDLINE, EMBASE,  PsycINFO, and Sociological Abstracts using  the Ovid platform. These are key databases  for biomedical, psychological, behavioural  science, and public health literature.  AIDSLINE, a database specifically dedicated  to HIV/AIDS research, was also included in  the PRS search until its discontinuation in  December 2000. The search was initially  developed, tested, and implemented in  MEDLINE, “the most widely used and  studied database in health care” (Jadad,  Moher, and Klassen 812). Core indexing  terms, keywords, and key phrases were the  main elements of the automated search  component. Each step in developing the  automated search component was  conducted simultaneously for each of the  three key domains.     Any group conducting systematic searching  and review will ultimately realize there is a  limited amount of time and resources  available (Crumley and Blackhall 167; Jadad,  Moher, and Klassen 812). Databases were  selected according to the capabilities, time  constraints, and resources available.  Databases considered and tested for  inclusion, but ultimately not used were  CINAHL, Current Contents, ERIC, and ISI  Web of Knowledge (Social Science Citation Index  and Science Citation Index Expanded). Results  of those tests concluded that citations from  CINAHL would have duplicated results and  would not contribute significant findings  beyond those identified in MEDLINE.  Current Contents was not selected due to  the focus of the database – it did not offer  specialized or significant insight into public  health areas outside the findings of the other  included databases. The focus of ERIC is on  educational and youth populations, an area  researched by another CDC entity, the  Division of Adolescent and School Health  (DASH). ISI’s Web of Knowledge provides  valuable linking information, but its  indexing system does not use a controlled  vocabulary. ISI databases were used in the  manual search process to verify references  between related articles.    Testing Each Database    Testing of each database consisted of using  the same indexing, keywords, and phrases  to retrieve and analyze the citations  collected. A sample search strategy was  created based on 75 HIV/AIDS or STD  behavioural intervention evaluation  citations. The search was used to determine  if that group of articles would be retrieved  by each database. This test sought to answer  certain questions:   • How many citations were retrieved?   • Are these articles within the scope  of the project?   • How many extraneous citations  were collected with this search?    Testing was performed in all databases  considered, but only the selected databases  were fully searched.    Developing an Automated Search    The first step in developing the automated  search component was to identify Medical  Subject Headings (MeSH) terms in  MEDLINE. The 75 previously mentioned  evaluation citations were examined to create  a list of MeSH terms by conducting inverse  searching – identifying terms by analyzing  the subject indexing in order to expand the  search (Boynton et al. 141). Each potential  MeSH term was evaluated in the National  Evidence Based Library and Information Practice 2008, 3:1  9 Library of Medicine’s MeSH database,  examining the entry term, scope note,  subheadings, related terms, and previous  indexing for each of the terms from the 75  citations. The list of MeSH terms was  compiled separately for each of the three  primary domains of the search. Initially, 116  possible MeSH terms were identified. After  cross‐checking the indexing of all 75  citations and then sampling citations  retrieved with these terms, the pool  narrowed to 42 MeSH terms for the  automated search component for MEDLINE.    Once completed for MEDLINE, the list of  indexing terms was tested, and adapted  where necessary, to accommodate  differences in the remaining electronic  databases. Matching subject terms between  databases was complex in some cases.  Sometimes similar indexing terms do not  exist between databases, creating gaps in  search components. The scope note for each  indexing term contains both a definition and  also lists of “used for” and “related terms”  to help pinpoint the specific intent and  usage of that subject heading. Each term  was checked individually and then its  related terms were also tested, making it  possible to narrow or broaden the search as  needed.    With indexing terms identified, the  automated search was further refined by  using subheadings (i.e., subcategories of  descriptors within indexing terms).  Subheadings, available only in MEDLINE,  AIDSLINE and EMBASE, were used to  refine an indexing term when the concept  was too broad to be an effective search term  (Greenhalgh 181). After carefully reviewing  the scope notes, the “prevention and  control” subheading was selected to  increase the precision of the search. Adding  this subheading effectively reduced the  number of irrelevant citations and  substantially decreased the volume of  citations.  Refining the Automated Search    Another method for refining searches was to  use the “explode” and “focus” options  provided by the OVID search platform. For  the HIV/AIDS/STD domain, using the focus  option (indicated by an asterisk in OVID)  ensured the search would return citations  specific to a particular subject heading or  subheading (e.g., “HIV infection/pc*”). For  the intervention evaluation and outcome  domains, focusing seemed to limit the  automated search too much, while  exploding (“EXP” in OVID) captured a large  number of irrelevant citations. Using a  variety of relevant and sufficiently narrow  indexing terms (e.g., “Evaluation Studies,”  “Intervention Studies,” “Sexual Behavior”),  without further focusing or exploding these  terms, proved to be the most effective route  for searching.      While the use of indexing terms is critical in  locating relevant citations, indexing can be  limited by numerous factors, including  poorly written abstracts, misclassification, a  lack of appropriate index terms, and lag  time in indexing (Boynton et al. 139).  Because of these limitations, a search  devised with MeSH or indexing terms alone  may fail to capture all essential information.  Therefore, inverse searching was conducted  within the title and abstract of the 75  citations to identify relevant keywords and  phrases for each of the domains to expand  to the automated search strategy. Examining  the results produced by the test search also  helped to determine which indexing and  keyword terms were important to the final  project search.    Once keywords and phrases were identified,  two techniques – truncation and proximity –  were used to refine this aspect of the  automated search. Truncation (expressed as  “$” in OVID) was used in many cases to  find all spelling variants of a root term.  However, using truncation alone sometimes  Evidence Based Library and Information Practice 2008, 3:1  10 retrieved an unmanageable number of  citations. To narrow the search, specific  keyword phrases were used when needed  (i.e., “controlled trial,” “control group”).  Proximity operators for concept and phrase  searching (“ADJ” in OVID) were used to  identify two keywords near each other or  variations in a particular phrase (e.g.,  “infect$ adj4 rate$”). After all aspects of the  automated search were identified (electronic  databases, indexing terms, keywords, and  phrases), and after applying all search  refinements (subheadings, EXP, focus,  truncation, proximity) for each of the three  key domains of the PRS project, the  automated search strategy was finalized  using Boolean operators to combine  elements within domains (“OR”) and cross‐ referencing between domains (“AND”).   (See the complete PRS automated search  strategies in Appendixes A‐C.)    Keeping the Search Up to Date    An important aspect of the PRS project is  keeping the internal database current. Due  to the volume of citations retrieved with  each search, it is only possible to update the  search annually to identify the most recent  literature. However, the annual search is  completed for a three‐year time period – one  initial search for each specific year, and two  subsequent searches in following years. For  instance, the annual search in 2006 included  publications for years 2004, 2005, and 2006.  This search provided the second update for  2004 publications, the first 2005 update, and  the initial 2006 search. To ensure consistency  over time, the database indexing terms are  regularly checked for additions, deletions,  changes, or replacements. Changes in  subject jargon and vernacular also evolve  with time. Any needed adjustments to  indexing terms or subject language are then  incorporated into the search strategy, so that  retrieval of the literature is kept up‐to‐date  (Brettle et al. “Searching” 166).    Manual Search    Three manual search methods were used to  complement the automated search  component and to provide additional search  coverage for a comprehensive search  strategy. While a time‐consuming endeavor,  hand searching has proved to be a more  direct and explicit way of retrieving relevant  articles omitted by databases due to  indexing inaccuracies or because of lag time  in the indexing process (Avenell, Handoll,  and Grant 509; Counsell 386; Jadad, Moher,  and Klassen 813). A manual review of the  issues from 35 key journals is conducted  biannually to identify citations relevant to  the focus of the PRS project. The key  journals are selected by querying the PRS  database for those journals producing the  greatest number of HIV behavioural  intervention citations with behavioural or  biologic outcomes. Because this number  may vary across publication year, the  journal selection is re‐evaluated annually.  (Appendix D contains the list of journals  currently searched). The second manual  search method involves networking with  researchers to obtain relevant published and  unpublished reports. Finally, the PRS  Project team continuously checks other  sources to identify additional citations.  These include relevant electronic mail lists,  clinical trial databases (e.g., Cochrane  Library, CRISP database), conference  proceedings, and reference lists of relevant  HIV behavioural prevention research  literature.    Assessing the Search    Downloading Citations Into a General Database  (PRS)    All automated and manual searches are  conducted by year and by database (e.g.,  MEDLINE 2002). This approach narrows the  number of citations to a manageable number  for checking and downloading. The citations  Evidence Based Library and Information Practice 2008, 3:1  11 identified from the same database in a  specific year are assigned to a unique batch  number, thus allowing the examination of  the contribution of each database by year.  Using the OVID platform, the citations are  downloaded in batches from the each  electronic database to Biblioscape Reference  Information Manager™ software. The PRS  database is designed to check for  duplications between imported citations and  those already existing in the database. This  process identifies the number of times a  citation is found and in which database,  leading to a calculation of the percentage of  overlap between databases.    Calculation of Search Component Contributions    Using the batch number information, three  indexes were calculated to evaluate the  contributions of each search component (i.e.,  automated versus manual searches) and of  each electronic database. These indices  quantified overall contribution, unique  contribution, and overlap. The indices are  defined below for a search of two electronic  databases, where a and b represent the  number of citations found in database A and  B, respectively, and where c is the number  of citations found in both databases (or the  overlap).     The overall contribution (%) of  electronic database A is calculated as:    100 )( x cba a ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ −+     The unique contribution (%) of  electronic database A is calculated as:    ( ) 100 )( x cba ca ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ −+ −     The percent overlap between  electronic databases A and B is calculated  as:    100 )( x cba c ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ −+     These same formulas were used when  comparing manual to automated methods  and were generalized when comparing  three or more electronic databases.     Results    As of December 2006, after completing the  comprehensive search strategy for the years  1988‐2005, a total of 17,493 citations have  been identified via automated searches of  the electronic databases MEDLINE,  EMBASE, PsycINFO, and Sociological  Abstracts (Table 1). The manual search  component, including hand searching  journals, reference lists, electronic mail lists,  and networking with researchers, have  identified 1,232 citations. After checking for  overlap between automated and manual  search results, there were 615 citations  unique to the manual search component.  The comprehensive systematic search from  1988‐2005 identified a combined total of  18,108 citations.  AIDSLINE identified an  additional 302 citations for the years 1988‐ 2000, but these citations are not included in  the calculations below. Evidence Based Library and Information Practice 2008, 3:1  12     All Citations    Overall Contribution  Unique Contributiona      N     %b      N    %c  Database            MEDLINE  8,279  47% 4,875  28%    PsycINFO  7,343  42% 4,659  27%    EMBASE  5,716  33% 2,677  15%    Soc Abstracts  1,776  10% 754  4%  Automated Total†  17,493 ‐ 12,965  74%d          Search Method         Automated Total  17,493  97% 16,876  93%   Manual Total    1,232   7%     615  3%  Combined Total††  18,108  ‐ 17,491  97%d    Table 1. All Citations Retrieved by Database and Method, 1988‐2005    a Citations that were identified by only one database or method.      b Denominator is the overall contribution total. Combined percentages total more than 100% due  to overlap.  c Denominator is the overall contribution total. Combined percentages total less than 100% due to  overlap.  d Percent of total citations that were identified by only one database or method.  † The same citation was identified in 2 or more databases resulting in multiple records of the  same citation. Duplicated records were removed from overall contribution totals. For all citations,  4,528 citations (26%) were identified by 2 or more databases, resulting in 5,621 duplicate records.  †† The same citation was identified by both methods, resulting in duplicate records that are not  reflected in the combined total. For all citations, 617 citations (3%) were identified by both  methods.                                    Evidence Based Library and Information Practice 2008, 3:1  13 Overall Contribution of each Electronic  Database    Among electronic databases from the  automated search component, MEDLINE,  PsycINFO, and EMBASE generated the  greatest retrieval of all citations (n=8,279,  47%; n=7,343, 42%; and n=5,716, 33%,  respectively, of 17,493 citations) (Table 1).  Sociological Abstracts contributed 10%  (n=1,776) of the total number of citations  identified by the automated search  component. This pattern for overall  contribution remained similar for particular  types of citations, where MEDLINE,  PsycINFO, and EMBASE continued to  identify the most in‐scope citations (44%,  55%, 33%, respectively) (Table 2) and  behavioural/biologic citations (65%, 50%,  46%, respectively) (Table 3). PsycINFO  identified the greatest number of in‐scope  citations (n=5,085, 55%); MEDLINE  identified the greatest number of  behavioural/biologic citations (n=712, 65%);  and Sociological Abstracts identified the  fewest of both (14% and 10%, respectively).     Unique Contribution of Each Electronic  Database    Of the 17,493 citations identified from the  automated search, 74% (n=12,965) were  identified by only one electronic database  (Table 1). In other words, only 26% of the  citations were identified by two or more  databases. When considering the citations  more specific to the PRS’ primary focus (i.e.,  behavioural/biologic citations), a large  portion (48%) was still identified by only  one database.    The unique contributions were greatest for  MEDLINE and PsycINFO across all citation  types: 28% (n=4,875) of all citations were  identified by MEDLINE alone, and 27%  (n=4,659) were identified only by PsycINFO  (Table 1). EMBASE alone accounted for 15%  (n=2,677) of all citations, and Sociological  Abstracts alone accounted for 4% (n=754).  The unique contribution for in‐scope  citations was greatest for PsycINFO (31%);  the unique contribution for  behavioural/biologic citations was greatest  for MEDLINE (20%). Although most of the  behavioural/biologic citations were  identified by either MEDLINE or PsycINFO,  another 10% were identified only by  EMBASE (8%), or by Sociological Abstracts  (2%).     Percent Overlap among Electronic Databases    Since MEDLINE, PsycINFO, and EMBASE  contributed the greatest number of citations  across all citation types, these databases  were used to examine overlap. The percent  overlap was calculated for each pair‐wise  comparison as well as for the overlap across  all three electronic databases (Table 4). The  percent overlap between MEDLINE and  PsycINFO was 12% and varied by year. A  similar percent overlap was observed  between EMBASE and PsycINFO (11%  overall. Interestingly, even though  MEDLINE and EMBASE both contain a  biomedical focus, the percent overlap was  only 20%, which is only one‐fifth of a total  11,697 citations identified from either  database. When searching all three  electronic databases, the percent overlap  was 23%, where 19% of the citations were  identified in 2 of the 3 databases and only  4% were identified in all 3 databases (Figure  1a).   Evidence Based Library and Information Practice 2008, 3:1  14   In‐Scope Citations    Overall Contribution   Unique Contributiona      N     %b      N    %c  Database            MEDLINE  4,073  44%  1,713  19%    PsycINFO  5,085  55%  2,908  31%    EMBASE  3,040  33%  932  10%    Soc Abstracts  1,271  14%  431  5%  Automated Total†  9,249  ‐  5,984  65%d            Search Method           Automated Total  9,249  94%  8,657  88%   Manual Total  1,162  12%  570  6%  Combined Total††  9,819  ‐  9,227  94%d    Table 2. In‐Scope Citations by Database and Method, 1988‐2005      a Citations that were identified by only one database or method.      b Denominator is the overall contribution total. Combined percentages total more than 100% due  to overlap.  c Denominator is the overall contribution total. Combined percentages total less than 100% due to  overlap.  d Percent of total citations that were identified by only one database or method.  † The same citation was identified in 2 or more databases resulting in multiple records of the  same citation. Duplicated records were removed from overall contribution totals. For in‐scope  citations, 3,265 citations (35%) were identified by 2 or more databases, resulting in 4,220 duplicate  records.  †† The same citation was identified by both methods, resulting in duplicate records that are not  reflected in the combined total. For in‐scope citations there were 592 (6%) citations identified.  Evidence Based Library and Information Practice 2008, 3:1  15   Intervention Citations with  Behavioural/Biologic Outcomes    Overall Contribution  Unique Contributiona      N     %b      N    %c  Database            MEDLINE  712  65%  218  20%    PsycINFO  548  50%  200  18%    EMBASE  508  46%  91  8%    Soc Abstracts  110  10%  21  2%  Automated Total†  1,097  ‐  530  48%d            Search Method           Automated Total  1,097  91%  906  75%   Manual Total  300  25%  109  9%  Combined Total††  1,206  ‐  1,015  84%d    Table 3. Intervention Citations by Database and Method, 1988‐2005    a Citations that were identified by only one database or method.      b Denominator is the overall contribution total. Combined percentages total more than 100% due  to overlap.  c Denominator is the overall contribution total. Combined percentages total less than 100% due to  overlap.  d Percent of total citations that were identified by only one database or method  † The same citation was identified in 2 or more databases, resulting in multiple records of the  same citation. Duplicated records were removed from overall contribution totals. For  intervention citations with behavioural or biologic outcomes, 567 citations (52%) were identified  by 2 or more databases, resulting in 781 duplicate records.  †† The same citation was identified by both methods, resulting in duplicate records not reflected  in the combined total. For intervention citations with behavioural or biologic outcomes, 191 (16%)  citations were identified.  Evidence Based Library and Information Practice 2008, 3:1  16   All Citationsa  Intervention Citations with  Behavioural/Biologic Outcomesb  Total  Uniquely  Identifiedc  Overlap  Total  Uniquely  Identifiedc  Overlap  N % N % MEDLINE & PsycINFO  13,937  12,252  1,685  12%    977  694  283  29%  MEDLINE & EMBASE  11,697  9,399  2,298  20%    861  502  359  42%  EMBASE & PsycINFO  11,764  10,469  1,295  11%  847  638  209  25%  MEDLINE, PsycINFO,  & EMBASE  16,739  12,819  3,920*  23%  1,076  543  533**  50%    Table 4. Overlap of Citations between MEDLINE, PsycINFO, and EMBASE, Searching the 1988‐ 2005 Literature    a The number of citations identified by each database: MEDLINE (n=8,279),  PsycINFO (n=7,343), EMBASE (n=5,716)  b The number of intervention citations with behavioural/biologic outcomes  identified by each database: MEDLINE (n=712), PsycINFO (n=548), EMBASE  (n=508)  c Citations identified by either one, but only one, database  *   3,241 citations (19%) were identified in 2 of the 3 databases; 679 (4%) were  identified in all 3  ** 374 citations (35%) were identified in 2 of the 3 databases; 159 (15%) were  identified in all 3  Evidence Based Library and Information Practice 2008, 3:1  17 For behavioural/biologic citations, the  percent overlap between databases  increased substantially compared to the  percent observed among all citations (Table  4). The greatest overlap was again between  MEDLINE and EMBASE (42%). The percent  overlap between MEDLINE and PsycINFO  was 29%, and between EMBASE and  PsycINFO the overlap was 25%. The percent  overlap for behavioural/biologic citations  among all 3 databases was 50%, where 35%  of the citations were identified in 2 of the 3  databases. Only 15% were identified in all 3  databases (Figure 1b).   Evidence Based Library and Information Practice 2008, 3:1  18 Contribution of the Search Methods: Manual  and Automated    Overall, the manual search method added  7% of the citations to the PRS database, in  contrast to a contribution of 97% for the  automated search method (Table 1). The  contribution of the manual search method  increased to 12% for in‐scope citations and  to 25% for behavioural/biologic citations,  while the contribution for the automated  search method decreased slightly to 91% for  behavioural/biologic citations. The increase  in overall contribution by the manual search  method was accompanied by an increase in  overlap with the automated search  component, an increase in unique  contribution of the manual search, and a  decrease in unique contribution of the  automated search. Of the 18,108 citations  identified overall, only 3% were identified  by both methods (Table 1). There was  greater overlap for in‐scope citations (6%)  (Table 2) and for behavioural/biologic  citations (16%) (Table 3). As far as unique  contributions, 6% (n=570) of the in‐scope  citations (Table 2) and 9% (n=109) of the  behavioural/biologic citations (Table 3) were  identified exclusively by the manual search  component. These 109 uniquely identified  behavioural/biologic citations, which are the  primary focus of the PRS Project, would  have been missed if only automated  searches were conducted.     Discussion          Developing, testing, and implementing a  systematic search for research synthesis is  an extremely complex and time‐intensive  task. Librarians should be considered an  integral part of the systematic review  process in the evidence based healthcare  field (Beverley, Booth, and Bath 66;  McGowan and Sampson; Sampson and  McGowan 1057; Helmer et al. 347; Harris 86;  Zhang, Sampson, and McGowan 5).  Although the specifics of this search strategy  focus on the PRS project needs, the general  framework for developing a systematic  search strategy as described within this  paper may be valuable to other research  synthesis projects in a variety of disciplines,  and it adds to the methods for search  strategy development already presented  (Matthews et al; McNally and Alborz). A  thorough evaluation of any systematic  review cannot happen without explicit  documentation of the process used by  researchers. Additionally, it is difficult to  place confidence in the findings of a  systematic review, if the systematic search  used to generate the pool of literature for  that review is not clearly reported (Booth  426; Sampson and McGowan 1160; Weller  163; Patrick et al. 199).    During the development, testing, and  refinement of the PRS search strategy,  various methods and techniques were  selected to ensure the breadth and depth of  the search. Using both indexing terms and  keyword searching can improve the  retrieval of relevant citations. These  techniques complement each other and will  help overcome potential differences in use  of terminology among authors, as well as  the limitations of indexing. The PRS project  focuses on completeness of purpose, rather  than precision or specificity. The  effectiveness of an automated search  strategy can be improved by testing the  strategy and evaluating the results.     Monitoring indexing terms over time is also  necessary, since databases add, change and  delete terms routinely. New terms can  narrow or broaden the meaning and  relevance of existing terms, altering the  outcome of an automated search. One  potential problem is that these changes may  not be applied consistently to all citations  Evidence Based Library and Information Practice 2008, 3:1  19 published prior to the changes. For example,  the term “Unsafe Sex” was added as a  MeSH term to MEDLINE in 2005. This term,  however, was added to the indexing of  citations published prior to the change,  because they were not indexed until 2005.  Similarly, keyword terms and concepts may  also change over time, necessitating  additional modification and retesting of the  automated search. While the search must  evolve as new terms enter the subject matter  vernacular, it is also important to be aware  of the potential issues associated with any  modification.    Consistent with previous findings (Alpi 99;  Avenell, Handoll, and Grant 508; Brettle and  Long 354; Minozzi, Pistotti, and Forni 721),  examinations of the overlap between  databases and the unique contributions of  each database suggest that multiple  databases should be used for systematic  searching. In addition, the automated search  should be supplemented by a manual search  component, including a hand search of  journals, conference proceedings and  abstracts, reference chasing, and personal  communications with key researchers in the  field. A combination of these two  approaches will increase the likelihood of  capturing all the relevant citations for  research synthesis activities.     It is important to point out that the amount  of overlap between databases and the  unique contributions of each database  presented here should be interpreted with  caution. This evaluation was performed  within the context of the HIV behavioural  prevention research literature and may not  be generalizable to other research fields. It is  likely that systematic searches in other  behavioural science or social science fields  could produce similar findings and  conclusions; however, further testing would  be required to make that determination. It is  also inappropriate to use this information to  select a database with the highest yield for  sole use in conducting a systematic review.  Within the HIV behavioural prevention  research field, all four electronic databases  (MEDLINE, EMBASE, PsycINFO, and  Sociological Abstracts) and the manual search  component made important unique  contributions to the retrieval of relevant  literature.    Conclusion    As the HIV prevention field becomes  increasingly more reliant on systematic  reviews of the literature for making  evidence based recommendations, it  becomes ever more critical to improve the  quality of searching the research literature.  Developing and implementing a systematic  and comprehensive search strategy for  identifying all the relevant research  literature is a vital first step in conducting a  systematic review. Creating a search  strategy requires a well thought out process  for planning, testing, and refining, but this  process is necessary to ensure that all  relevant information is included in any  research synthesis activity.  These standards  are important in moving evidence based  public health and information practice  forward.    Acknowledgments    The findings and conclusions in this report  are those of the authors and do not  necessarily represent the views of the  Centers for Disease Control and Prevention.  This work was supported by the Prevention  Research Branch, Division of HIV/AIDS  Prevention, US Centers for Disease Control  and Prevention and was not funded by any  other organisation.The authors thank past  and present members of the CDC’s  HIV/AIDS Prevention Research Team –  Tanesha Griffin, Jeffrey H. Herbst, Angela  K. Horn, Angela Hutchinson, Elizabeth D.  Jacobs, Laura V. Lloyd, Paola Marrero‐ Gonzalez, Warren Passin, Jocelyn Patterson,  Evidence Based Library and Information Practice 2008, 3:1  20 Sima Rama, R. Thomas Sherba, Lev  Zohrabyan – who contributed to the  development and maintenance of the PRS  database.       Works Cited    Alpi, Kristine M. ʺExpert Searching in Public  Health.ʺ Journal of the Medical  Library Association 93.1 (Jan. 2005):  97‐103.  Atkins, David, Kenneth Fink, Jean Slutsky,  and the Agency for Healthcare  Research and Quality; North  American Evidence‐based Practice  Centers. ʺBetter Information for  Better Health Care: The Evidence‐ Based Practice Center Program and  the Agency for Healthcare Research  and Quality.ʺ Annals of Internal  Medicine 142.12 Pt. 2 (21 June 2005):  1035‐41.  Avenell, Alison, Helen G. Handoll, and  Adrian M. Grant. ʺLessons for  Search Strategies from a Systematic  Review, in the Cochrane Library, of  Nutritional Supplementation Trials  in Patients After Hip Fracture.ʺ  American Journal of Clinical  Nutrition 73.3 (Mar. 2001): 505‐10.  Berry, Elizabeth, Steven Kelly, John Hutton,  Keith M. Harris, and Michael A.  Smith. ʺIdentifying Studies for  Systematic Reviews. An Example  from Medical Imaging.ʺ  International Journal of Technology  Assessment in Health Care 16.2  (Spring 2000): 668‐72.  Beverley, Catherine, Andrew Booth, and  Peter A. Bath. ʺThe Role of the  Information Specialist in the  Systematic Review Process: A  Health Information Case Study.ʺ  Health Information and Libraries  Journal 20.2 (June 2003): 65‐74.  Biblioscape Reference Information  Manager™ . Vers. 6.6. June 2007  .  Booth, Andrew. ʺBrimful of STARLITEʺ:  Toward Standards for Reporting  Literature Searches.ʺ Journal of the  Medical Library Association 94.4  (Oct. 2006): 421‐9, e205.  Boynton, Janette, Julie Glanville, David  McDaid, and Carol Lefebvre.  ʺIdentifying Systematic Reviews in  MEDLINE: Developing an Objective  Approach to Search Strategy  Design.ʺ Journal of Information  Science 24.3 (1 June 1998): 137‐57.   Brettle, Alison J., and Andrew F. Long.  ʺComparison of Bibliographic  Databases for Information on the  Rehabilitation of People with Severe  Mental Illness.ʺ Bulletin of the  Medical Library Association 89.4  (Oct. 2001): 353‐62.  Brettle, Alison J., Andrew F. Long, Maria J.  Grant, and Joanne Greenhalgh.  ʺSearching for Information on  Outcomes: Do You Need to be  Comprehensive?ʺ Quality in Health  Care 7.3 (Sept. 1998): 163‐7.  Bruce, Julie, and Jill Mollison. ʺReviewing  the Literature: Adopting a  Systematic Approach.ʺ Journal of  Family Planning and Reproductive  Health Care 30.1 (2004): 13‐6.  Chalmers, Ian, Kay Dickersin, and Thomas  C. Chalmers. ʺGetting to Grips with  Archie Cochraneʹs Agenda.ʺ BMJ  305.6857 (3 Oct. 1992): 786‐8.  Evidence Based Library and Information Practice 2008, 3:1  21 Collins, Charles, Camilla Harshbarger,  Richard Sawyer, and Myriam  Hamdallah. ʺThe Diffusion of  Effective Behavioral Interventions  Project: Development,  Implementation, and Lessons  Learned.ʺ AIDS Education and  Prevention 18.4 Suppl. A (Aug.  2006): 5‐20.  Conn, Vicki S., Sang‐arun Isaramalai,  Sabyasachi Rath, Peeranuch  Jantarakupt, Rohini Wadhawan,  and Yashodhara Dash. ʺBeyond  MEDLINE for Literature Searches.ʺ  Journal of  Nursing Scholarship 35.2  (2003): 177‐82.  Counsell, Carl. ʺFormulating Questions and  Locating Primary Studies for  Inclusion in Systematic Reviews.ʺ  Annals of Internal Medicine 127.5  (Sept. 1997): 380‐7.  Crepaz, Nicole, Warren F. Passin, Jeffrey H.  Herbst, Sima M. Rama, Robert M.  Malow, David W. Purcell, and  Richard J. Wolitski. ʺMeta‐Analysis  of Cognitive‐Behavioral  Interventions on HIV‐Positive  Personsʹ Mental Health and  Immune Functioning.ʺ Health  Psychology 27.1 (2008): 4‐14.  Crepaz, Nicole, Cynthia M. Lyles, Richard J,  Wolitski, Warren F. Passin, Sima M.  Rama, Jeffrey H. Herbst, David W.  Purcell, Robert M. Malow, Ron Stall,  and the HIV/AIDS Prevention  Research Synthesis Team. ʺDo  Prevention Interventions Reduce  HIV Risk Behaviours Among People  Living with HIV? A Meta‐Analytic  Review of Controlled Trials.ʺ AIDS  20.2 (9 Jan. 2006): 143‐57.  Crepaz, Nicole, Angela K. Horn, Sima M.  Rama, Tanesha Griffin, Julia B.  DeLuca, Mary M. Mullins, Sevgi O.  Aral, and the HIV/AIDS Prevention  Research Synthesis Team. ʺThe  Efficacy of Behavioral Interventions  in Reducing HIV Risk Sex Behaviors  and Incident Sexually Transmitted  Disease in Black and Hispanic  Sexually Transmitted Disease Clinic  Patients in the United States: A  Meta‐Analytic Review.ʺ  Sexually  Transmitted Diseases 34.6 (June  2007): 319‐32.  Crumley, Ellen T., and Karen Blackhall.  ʺSetting Up Search Strategies for  Systematic Reviews (Or, How Many  Ways Can You Spell Diarrhea?).ʺ  Bibliotheca Medica Canadiana 24.4  (2003): 167‐8.  Crumley, Ellen T., Natasha Wiebe, Kritie  Cramer, Terry P. Klassen, and Lisa  Hartling. ʺWhich Resources Should  be Used to Identify RCT/CCTs for  Systematic Reviews: A Systematic  Review.ʺ BMC Medical Research  Methodology 5.24 (10 Aug. 2005).  doi: 10.1186/1471‐2288‐5‐24  Dickersin, Kay, Renslow Scherer, and Carol  Lefebvre. ʺIdentifying Relevant  Studies for Systematic Reviews.ʺ  BMJ 309.6964 (12 Nov. 1994): 1286‐ 91.  ʺEvidence‐Based Interventions.ʺ Centers for  Disease Control and Prevention.  2007. HIV/AIDS Prevention  Research Synthesis Project (PRS). 13  Oct. 2007.  .  ʺFAQ: Journal Selection for MEDLINE®  Indexing at NLM.ʺ National Library  of Medicine. 2007 National Library  of Medicine, Bethesda, MD. 13 Oct.  Evidence Based Library and Information Practice 2008, 3:1  22 2007.  .  Greenhalgh, Trisha. ʺHow to Read a Paper.  The Medline Database.ʺ BMJ  315.7101 (19 July 1997): 180‐3.  Harris, Martha R. ʺThe Librarianʹs Roles in  the Systematic Review Process: A  Case Study.ʺ Journal of the Medical  Library Association 93.1 (Jan. 2005):  81‐7.  Helmer, Diane, Isabellel Savoie, Carolyn  Green, and Arminée Kazanjian.  ʺEvidence‐Based Practice: Extending  the Search to Find Material for the  Systematic Review.ʺ Bulletin of the  Medical Library Association 89.4  (Oct. 2001): 346‐52.  Herbst, Jeffrey H., R. Thomas Sherba, Nicole  Crepaz, Julia B. DeLuca, Lev  Zohrabyan, Ron D. Stall, Cynthia M.  Lyles, and the HIV/AIDS Prevention  Research Synthesis Team. ʺA Meta‐ Analytic Review of HIV Behavioral  Interventions for Reducing Sexual  Risk Behavior of Men Who Have  Sex with Men.ʺ JAIDS Journal of  Acquired Immune Deficiency  Syndromes 39.2 (1 June 2005): 228‐ 41.  Herbst, Jeffrey H., Linda S. Kay, Warren F.  Passin, Cynthia M. Lyles, Nicole  Crepaz, Barbara V. Marín, and the  HIV/AIDS Prevention Research  Synthesis Team. ʺA Systematic  Review and Meta‐Analysis of  Behavioral Interventions to Reduce  HIV Risk Behaviors of Hispanics in  the United States and Puerto Rico.ʺ  AIDS and Behavior 11.1 (Jan. 2007):  25‐47.  Herbst, Jeffrey H., Carolyn Beeker, Anita  Mathew, Tarra McNally, Warren F.  Passin,  Linda S. Kay, Nicole  Crepaz, Cynthia M. Lyles, Peter  Briss, Sajal Chattopadhyay,  Robert  L. Johnson, and the Task Force on  Community Preventive Services.  ʺThe Effectiveness of Individual‐,  Group‐, and Community‐Level HIV  Behavioral Risk‐Reduction  Interventions for Adult Men Who  Have Sex With Men: A Systematic  Review.ʺ American Journal of  Preventive Medicine 32.4 Suppl. 1  (Apr. 2007): S38‐S67.  Higgins, Julian P., and Sally Green eds.  Cochrane Handbook for Systematic  Reviews of Interventions 4.2.6  [Updated September 2006].. 24  February 2008  .  Howes, Faline, Jodie Doyle, Nicki Jackson,  and Elizabeth Waters. ʺEvidence‐ Based Public Health: The  Importance of Finding ʹDifficult to  Locateʹ Public Health and Health  Promotion Intervention Studies for  Systematic Reviews.ʺ Journal of  Public Health 26.1 (Mar. 2004): 101‐ 4.  Jadad, Alejandro R., David Moher, and  Terry P. Klassen. ʺGuides for  Reading and Interpreting  Systematic Reviews: II. How Did the  Authors Find the Studies and  Assess Their Quality?ʺ Archives of  Pediatrics and Adolescent Medicine  152.8 (Aug. 1998): 812‐7.  Jenuwine, Elizabeth S., and Judith A. Floyd.  ʺComparison of Medical Subject  Headings and Text‐Word Searches  in MEDLINE to Retrieve Studies on  Sleep in Healthy Individuals.ʺ  Evidence Based Library and Information Practice 2008, 3:1  23 Journal of the Medical Library  Association 92.3 (July 2004): 349‐53.  Johnson, Blair T., Michael P. Carey,  Stephanie Chaudoir, and Allecia E.  Reid. ʺSexual Risk Reduction for  Persons Living with HIV: Research  Synthesis of Randomized  Controlled Trials, 1993 to 2004.ʺ  Journal of Acquired Immune  Deficiency Syndromes 41.5 (15 Apr.  2006): 642‐50.    Lyles, Cynthia M., Linda S. Kay, Nicole  Crepaz, Jeffrey H. Herbst, Warren F.  Passin,  Angela S. Kim, Sima M.  Rama, Sekhar Thadiparthi, Julia B.  DeLuca, Mary M. Mullins, and the  HIV/AIDS Prevention Research  Synthesis Project Team. ʺBest‐ Evidence Interventions: Findings  from a Systematic Review of HIV  Behavioral Interventions for U.S.  Populations at High Risk, 2000‐ 2004.ʺ American Journal of Public  Health 97.1 (Jan. 2007): 133‐43.  Lyles, Cynthia M., Nicole Crepaz, Jeffrey H.  Herbst, Linda S. Kay, and the  HIV/AIDS Prevention Research  Synthesis Project Team. ʺEvidence‐ Based HIV Behavioral Prevention  from the Perspective of the CDCʹs  HIV/AIDS Prevention Research  Synthesis Team.ʺ AIDS Education  and Prevention 18.4 Suppl. A (Aug.  2006): 21‐31.  Matthews, Elaine J., Adrian G. K. Edwards,  Jackie Barker, Michael Bloor, Judith  Covey, Kerenza Hood, Roisin Pill,  IaN. Russell, Nigel Stott, and Clare  Wilkinson. “Efficient Literature  Searching in Diffuse Topics: Lessons  from a Systematic Review of  Research on Communicating Risk to  Patients in Primary Care.” Health  Libraries Review 16.2 (1999): 112‐20.  20 Feb. 2008.  doi:10.1046/j.1365‐ 2532.1999.00219.x     McGowan, Jessie, and Margaret Sampson.  ʺSystematic Reviews Need  Systematic Searchers.ʺ Journal of the  Medical Library Association 93.1  (Jan. 2005): 74‐80.  McManus, Richard J., Sue Wilson, Brendan  C. Delaney, David A. Fitzmaurice,  C. J. Hyde, R. S. Tobias, S. Jowett,  and Richard Hobbs. ʺReview of the  Usefulness of Contacting Other  Experts When Conducting a  Literature Search for Systematic  Reviews.ʺ BMJ 317.7172 (5 Dec.  1998): 1562‐3.  McNally, Rosalind, and Alison Alborz.  “Developing methods for systematic  reviewing in health services  delivery and organization: an  example from a review of access to  health care for people with learning  disabilities. Part 1. Identifying the  literature.” Health Information and  Libraries Journal 21.3 (Sept. 2004):  182‐92.  Minozzi, Silvia, Vanna Pistotti, and Marco  Forni. ʺSearching for Rehabilitation  Articles on MEDLINE and EMBASE.  An Example with Cross‐Over  Design.ʺ Archives of Physical  Medicine and Rehabilitation 81.6  (June 2000): 720‐2.  Neumann, Mary Spink, and Ellen Sogolow.  ʺReplicating Effective Programs:  HIV/AIDS Prevention Technology  Transfer.ʺ AIDS Education and  Prevention 12.Suppl. 5 (2000): 35‐48.  Passin, Warren F., Angela S. Kim, Angela B.  Hutchinson, Nicole Crepaz, Jeffrey  H. Herbst, Cynthia M. Lyles, and  the HIV/AIDS Prevention Research  Evidence Based Library and Information Practice 2008, 3:1  24 Synthesis Project Team. ʺA  Systematic Review of HIV Partner  Counseling and Referral Services:  Client and Provider Attitudes,  Preferences, Practices, and  Experiences.ʺ Sexually Transmitted  Diseases 33.5 (May 2006): 320‐8.  Patrick, Timothy B., George Demiris, Lillian  C. Folk, David E. Moxley, Joyce A.  Mitchell, and Donghua Tao.  ʺEvidence‐Based Retrieval in  Evidence‐Based Medicine.ʺ Journal  of the Medical Library Association  92.2 (Apr. 2004): 196‐9.  Perry, Gerald J., and Michael R. Kronenfeld.  ʺEvidence‐Based Practice: A New  paradigm Brings New  Opportunities for Health Sciences  Librarians.ʺ Medical Reference  Services Quarterly 24.4 (Winter  2005): 1‐16.  Peterson, Amy S., and Lisa M. Randall.  ʺUtilizing Multilevel Partnerships to  Build the Capacity of Community‐ Based Organizations to Implement  Effective HIV Prevention  Interventions in Michigan.ʺ AIDS  Education and Prevention 18.4  Suppl A (2006): 83‐95.  Robinson, Karen A., and Kay Dickersin.  ʺDevelopment of a Highly Sensitive  Search Strategy for the Retrieval of  Reports of Controlled Trials Using  PubMed.ʺ International Journal of  Epidemiology 31.1 (2002): 150‐3.  Sackett, David L., William M. C. Rosenberg,  J. A. Muir Gray, R. Brian Haynes,  and W. Scott Richardson. ʺEvidence  Based Medicine: What It Is and  What It Isnʹt.ʺ BMJ 312.7023 (13 Jan.  1996): 71‐2.  Sampson, Margaret and Jessie McGowan.  ʺErrors in Search Strategies Were  Identified By Type and Frequency.ʺ  Journal of Clinical Epidemiology  59.10 (2006): 1057‐63.  Savoie, Isabelle, Diane Helmer, Carolyn J.  Green, and Arminee Kazanjian.  ʺBeyond Medline: Reducing Bias  Through Extended Systematic  Review Search.ʺ International  Journal of Technology Assessment  in Health Care 19.1 (Winter 2003):  168‐78.  Shea, Madeline A., Barry P. Callis, Hope  Cassidy‐Stewart, Kevin Cranston,  and Naomi Tomoyasu. ʺDiffusion of  Effective HIV Prevention  Interventions‐‐Lessons From  Maryland and Massachusetts.ʺ  AIDS Education and Prevention  18.4 Suppl A (Aug. 2006): 96‐107.  Simoni, Jane M., Cynthia R. Pearson, David  W. Pantalone, Gary Marks, and  Nicole Crepaz. ʺEfficacy of  Interventions in Improving Highly  Active Antiretroviral Therapy  Adherence and HIV‐1 RNA Viral  Load: A Meta‐Analytic Review of  Randomized Controlled Trials.ʺ  Journal of Acquired Immune  Deficiency Syndromes 43.Suppl 1  (Dec. 2006): S23‐S35.  Sogolow, Ellen, Greet Peersman, Salaam  Semaan, Darcy Strouse, Cynthia M.  Lyles, and the HIV/AIDS Prevention  Research Synthesis Project Team.  ʺThe HIV/AIDS Prevention  Research Synthesis Project: Scope,  Methods, and Study Classification  Results.ʺ Journal of Acquired  Immune Deficiency Syndromes  30.Suppl. 1 (2002): S15‐S29.  Evidence Based Library and Information Practice 2008, 3:1  25 Victora, Cesar G., Jean‐Pierre Habicht, and  Jennifer Bryce. ʺEvidence‐Based  Public Health: Moving Beyond  Randomized Trials.ʺ American  Journal of Public Health 94.3 (2004):  400‐5.  Watson, R. J., and Philip H. Richardson.  ʺIdentifying Randomized  Controlled Trials of Cognitive  Therapy for Depression: Comparing  the Efficiency of EMBASE, Medline  and PsycINFO Bibliographic  Databases.ʺ British Journal of  Medical Psychology 72.Pt. 4 (1999):  535‐42.  Weller, Ann C. ʺMounting Evidence That  Librarians Are Essential for  Comprehensive Literature Searches  for Meta‐Analyses and Cochrane  Reports.ʺ Journal of the Medical  Library Association 92.2 (Apr. 2004):  163‐4.  Zhang, Li, Margaret Sampson, and Jessie  MacGowan. ʺReporting of the Role  of the Expert Searcher in Cochrane  Reviews.ʺ Evidence Based Library  and Information Practice 1.4 (Dec.  2006): 3‐16. 18 Feb. 2008  .  Evidence Based Library and Information Practice 2008, 3:1  26 Appendix A – OVID Search Strategy –  MEDLINE     $   = truncation    * = focus  ab  = abstract      ti = title  /ut = utilization subheading  /pc = prevention and control subheading      HIV/AIDS/STDs MeSH    1. *HIV Infections/pc    2. *AIDS/pc  3. *Sexually Transmitted  Diseases/pc  4. *Sexually Transmitted Diseases,  bacterial/  5. *Sexually Transmitted diseases,  viral/  6. AIDS serodiagnosis/ut  7. *HIV Seropositivity/    8. or/1‐7    Prevention/Intervention MeSH and  Keywords    9. Primary Prevention/  10. Preventive Health Services/  11. Health Promotion/  12. Program Evaluation/  13. Randomized Controlled Trials/  14. Evaluation Studies/  15. Contact Tracing/  16. Case Management/  17. Needle‐Exchange Programs/  18. Intervention Studies/  19. Follow‐Up Studies/  20. Longitudinal Studies/  21. Multicenter Studies/  22. Random Allocation/  23. (control group).ti,ab  24. (control trial).ti,ab  25. (controlled trial).ti,ab  26. (rct or rcts).ti,ab  27. (case management).ti,ab  28. (contact tracing).ti,ab  29. (counseling or counselling).ti,ab  30. (detox or detoxification).ti,ab  31. (drug$ adj4 treatment$).ti,ab  32. education$.ti,ab  33. (effect or effects or effective or  effectiveness).ti,ab  34. efficacy.ti,ab  35. evaluation$.ti,ab  36. impact$.ti,ab  37. intervention$.ti,ab  38. (needle exchang$).ti,ab  39. network$.ti,ab  40. outreach$.ti,ab  41. (partner notification).ti,ab  42. (partner$ adj4 contact$ adj4  referral$).ti,ab  43. (notif$ adj4 partner$).ti,ab  44. prevention$.ti,ab  45. program$.ti,ab  46. random$.ti,ab  47. rehab$.ti,ab  48. skill$.ti,ab  49. (syringe exchang$).ti,ab  50. methadone.ti,ab  51. test$.ti,ab  52. training.ti,ab  53. trial$.ti,ab    54. or/9‐53    Behavior/Outcomes MeSH and Keywords    55. Behavior/  56. Behavior Therapy/  57. Health Behavior/  58. Risk Reduction Behavior/  59. Risk‐Taking/  60. Contraception Behavior/  61. Coitus/  62. Sexual Abstinence/  63. Sexual Behavior/  64. Sexual Partners/  65. Safe Sex/  66. Unsafe Sex/  67. Heroin Dependence/pc  68. Needle Sharing/  69. Condoms/ut  Evidence Based Library and Information Practice 2008, 3:1  27 70. Condoms, female/ut  71. Contraceptive devices, male/ut  72. Contraceptive devices,  female/ut  73. Substance abuse,  intravenous/pc  74. Substance‐related disorders/pc  75. Cocaine‐related disorders/pc  76. Health services/ut  77. heroin.ti,ab  78. cocaine.ti,ab  79. opiate$.ti,ab  80. opium.ti,ab  81. paraphernalia.ti,ab  82. (treatment$ adj2 entry).ti,ab  83. (treatment$ adj2 enter$).ti,ab  84. (abstin$ or abstain$).ti,ab  85. drug$.ti,ab  86. substance.ti,ab  87. (idu or idus or ivdu or  ivdus).ti,ab  88. ((behavior$ or behaviour$ or  activit$ or access$ or utiliz$ or  use$ or using$ or test$ or risk$  or outcome$) adj4 (reduc$ or  declin$ or chang$ or effect$ or  increas$ or decreas$ or impact$  or modif$ or lower$ or  maintain$ or maintenance)).ti,ab  89. bleach$.ti,ab  90. clean$.ti,ab  91. condom$.ti,ab  92. contracept$.ti,ab  93. crack.ti,ab  94. disclos$.ti,ab  95. incidence.ti,ab  96. inject$.ti,ab  97. intention$.ti,ab  98. intercourse.ti,ab  99. needle$.ti,ab  100. infect$ adj4 (new$ or rate$ or  declin$ or reduc$ or prevent$ or  lower$ or decreas$).ti,ab  101. partner$.ti,ab  102. seroconver$.ti,ab  103. sex$.ti,ab  104. syring$.ti,ab  105. test$.ti,ab    106. or/55‐105    107. 8 and 54 and 106    Limits: English language, publication types,  Date limits  Evidence Based Library and Information Practice 2008, 3:1  28 Appendix B – OVID Search Strategy –  PsycINFO    $  = truncation      * = focus  ab = abstract      ti = title    HIV/AIDS/STDs Subject Headings    1. *HIV/  2. *AIDS/  3. *Sexually Transmitted Diseases/    4. or/1‐3    Prevention/Intervention Subject Headings  and Keywords    5. Prevention/  6. AIDS Prevention/  7. HIV Testing/  8. Primary Health Care/  9. Health Promotion/  10. Program Evaluation/  11. Case Management/  12. Needle‐Exchange Programs/  13. Followup Studies/  14. Longitudinal Studies/  15. Random Sampling/  16. control group.ti,ab  17. control trial.ti,ab  18. controlled trial.ti,ab  19. (rct or rcts).ti,ab  20. case management.ti,ab  21. contact tracing.ti,ab  22. (counseling or counselling).ti,ab  23. (detox or detoxification).ti,ab  24. (drug$ adj4 treatment$).ti,ab  25. education$.ti,ab  26. (effect or effects or effective or  effectiveness).ti,ab  27. efficacy.ti,ab  28. evaluation$.ti,ab  29. impact$.ti,ab  30. intervention$.ti,ab  31. needle exchang$.ti,ab  32. network$.ti,ab  33. outreach$.ti,ab  34. partner notification.ti,ab  35. (partner$ adj4 contact$ adj4  referral$).ti,ab  36. (notif$ adj4 partner$).ti,ab  37. prevention$.ti,ab  38. program$.ti,ab  39. random$.ti,ab  40. rehab$.ti,ab  41. skill$.ti,ab  42. syringe exchang$.ti,ab  43. methadone.ti,ab  44. test$.ti,ab  45. training.ti,ab  46. trial$.ti,ab    47. or/5‐46    Behavior/Outcomes Subject Headings and  Keywords    48. Behavior/  49. Behavior Therapy/  50. Health Behavior/  51. Risk‐Taking/  52. Sexual Risk Taking /  53. Sexual Abstinence/  54. Sexual Partners/  55. Safe Sex/  56. Psychosexual Behavior/  57. Behavior Change/  58. Condoms/  59. Contraceptive Devices/  60. Drug Abuse/  61. Intravenous Drug Usage/  62. Cocaine/  63. Heroin Addiction/  64. Heroin/  65. Needle Sharing/  66. At Risk Populations/  67. heroin.ti,ab  68. cocaine.ti,ab  69. opiate$.ti,ab  70. opium.ti,ab  71. paraphernalia.ti,ab  72. (treatment$ adj2 entry).ti,ab  73. (treatment$ adj2 enter$).ti,ab  74. (abstin$ or abstain$).ti,ab  75. drug$.ti,ab  76. substance.ti,ab  Evidence Based Library and Information Practice 2008, 3:1  29 77. (idu or idus or ivdu or  ivdus).ti,ab  78. ((behavior$ or behaviour$ or  activit$ or access$ or utiliz$ or  use$ or using$ or test$ or risk$  or outcome$) adj4 (reduc$ or  declin$ or chang$ or effect$ or  increas$ or decreas$ or impact$  or modif$ or lower$ or  maintain$ or maintenance)).ti,ab  79. bleach$.ti,ab  80. clean$.ti,ab  81. condom$.ti,ab  82. contracept$.ti,ab  83. crack.ti,ab  84. disclos$.ti,ab  85. incidence.ti,ab  86. inject$.ti,ab  87. intention$.ti,ab  88. intercourse.ti,ab  89. needle$.ti,ab  90. infect$ adj4 (new$ or rate$ or  declin$ or reduc$ or prevent$ or  lower$ or decreas$).ti,ab  91. partner$.ti,ab  92. seroconver$.ti,ab  93. sex$.ti,ab  94. syring$.ti,ab  95. test$.ti,ab    96. or/48‐95    97. 4 and 47 and 96    Limits: English language, publication types,  Date limits    Evidence Based Library and Information Practice 2008, 3:1  30 Appendix C – OVID Search Strategy –   EMBASE      $   = truncation    * = focus  ab  = abstract      ti = title  /pc = prevention and control subheading    HIV/AIDS/STDs Subject Headings    1. *Human Immunodeficiency  Virus Infection/pc    2. *acquired immunodeficiency  syndrome/pc  3. *sexually transmitted  diseases/pc    4. or/1‐3     Prevention/Intervention Subject Headings  and Keywords    5. Primary Prevention/  6. Preventive Health Service/  7. Health Promotion/  8. Health Care Quality/  9. Patient Care/  10. Randomized Controlled Trials/  11. Evaluation/  12. Contact Examination/  13. Types of  Study/  14. Follow Up/  15. Longitudinal Study/  16. Multicenter Study/  17. Randomization/  18. control group.ti,ab  19. control trial.ti,ab  20. controlled trial.ti,ab  21. (rct or rcts).ti,ab  22. case management.ti,ab  23. contact tracing.ti,ab  24. (counseling or counselling).ti,ab  25. (detox or detoxification).ti,ab  26. (drug$ adj4 treatment$).ti,ab  27. education$.ti,ab  28. (effect or effects or effective or  effectiveness).ti,ab  29. efficacy.ti,ab  30. evaluation$.ti,ab  31. impact$.ti,ab  32. intervention$.ti,ab  33. needle exchang$.ti,ab  34. network$.ti,ab  35. outreach$.ti,ab  36. partner notification.ti,ab  37. (partner$ adj4 contact$ adj4  referral$).ti,ab  38. (notif$ adj4 partner$).ti,ab  39. prevention$.ti,ab  40. program$.ti,ab  41. random$.ti,ab  42. rehab$.ti,ab  43. skill$.ti,ab  44. syringe exchang$.ti,ab  45. methadone.ti,ab  46. test$.ti,ab  47. training.ti,ab  48. trial$.ti,ab    49. or/5‐48    Behavior/Outcomes Subject Headings and  Keywords    50. Behavior/  51. Behavior Therapy/  52. Health Behavior/  53. Infection Risk/  54. High Risk Population/  55. Risk Reduction/  56. Coitus/  57. Abstinence/  58. Sexual Behavior/  59. Safe Sex/  60. Diamorphine/  61. Drug Abuse/  62. Condom/  63. Drug Dependence/  64. Intravenous Drug Abuse/  65. Health Service/  66. “Drug Use”/  67. Substance Abuse/  68. Addiction/  69. Opiate Addiction/  70. Cocaine/  Evidence Based Library and Information Practice 2008, 3:1  31 71. Cocaine Dependence/  72. heroin.ti,ab  73. cocaine.ti,ab  74. opiate$.ti,ab  75. opium.ti,ab  76. paraphernalia.ti,ab  77. (treatment$ adj2 entry).ti,ab  78. (treatment$ adj2 enter$).ti,ab  79. (abstin$ or abstain$).ti,ab  80. drug$.ti,ab  81. substance.ti,ab  82. (idu or idus or ivdu or  ivdus).ti,ab  83. ((behavior$ or behaviour$ or  activit$ or access$ or utiliz$ or  use$ or using$ or test$ or risk$  or outcome$) adj4 (reduc$ or  declin$ or chang$ or effect$ or  increas$ or decreas$ or impact$  or modif$ or lower$ or  maintain$ or maintenance)).ti,ab  84. bleach$.ti,ab  85. clean$.ti,ab  86. condom$.ti,ab  87. contracept$.ti,ab  88. crack.ti,ab  89. disclos$.ti,ab  90. incidence.ti,ab  91. inject$.ti,ab  92. intention$.ti,ab  93. intercourse.ti,ab  94. needle$.ti,ab  95. infect$ adj4 (new$ or rate$ or  declin$ or reduc$ or prevent$ or  lower$ or decreas$).ti,ab  96. partner$.ti,ab  97. seroconver$.ti,ab  98. sex$.ti,ab  99. syring$.ti,ab  100. test$.ti,ab    101. or/50‐100    102. 4 and 49 and 101    Limits: English language, publication types  Date limits  Evidence Based Library and Information Practice 2008, 3:1  32 Appendix D – Journal List for Manual  Search, updated February 2007    Addiction  AIDS  AIDS and Behavior  AIDS Care  AIDS Education and Prevention  AIDS Patient Care and STDs  American Journal of Community Psychology  American Journal of Drug and Alcohol Abuse  American Journal of Preventive Medicine  American Journal of Psychiatry  American Journal of Public Health  Annals of Behavioral Medicine  Archives of Pediatrics & Adolescent Medicine  Clinical Infectious Diseases  Drug and Alcohol Dependence  Health Education & Behavior  Health Education Research  Health Psychology  International Journal of STD & AIDS  JAIDS Journal of Acquired Immune  Deficiency Syndromes  JAMA Journal of the American Medical  Association  Journal of Adolescent Health  Journal of Consulting and Clinical Psychology  Journal of Drug Issues  Journal of Psychoactive Drugs  Journal of Substance Abuse Treatment  Journal of Urban Health  Lancet  Morbidity and Mortality Weekly Report  Psychology of Addictive Behaviors  Public Health Reports  Research in Nursing & Health  Sexually Transmitted Diseases  Sexually Transmitted Infections  Substance Use & Misuse