Microsoft Word - ES_Brown.doc Evidence Based Library and Information Practice 2006, 1:3      60 Evidence Based Library and Information Practice       Evidence Summary    Searching for Adverse Effects in MEDLINE and EMBASE Requires a Combined  Approach for Efficient Retrieval    A review of:  Golder, Su, Heather M. McIntosh, Steve Duffy, and Julie Glanville. “Developing Efficient Search  Strategies to Identify Reports of Adverse Effects in MEDLINE and EMBASE.” Health  Information & Libraries Journal 23.1 (Mar. 2006): 3‐12.    Reviewed by:  Marcy L. Brown  Clinical Medical Librarian  The Western Pennsylvania Hospital, Forbes Regional Campus  Monroeville, Pennsylvania, United States of America  E‐mail: wordsmith@alltel.net     Received: 29 May 2006            Accepted: 30 June 2006      © 2006 Brown. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To assess the sensitivity and  precision of various search strategies for  retrieving adverse effects studies from the  MEDLINE and EMBASE databases.    Design – Analytical survey.    Subjects – A case study using a recently  published systematic review of the  effectiveness and adverse effects of seven  new anti‐epileptic drugs.    Setting – MEDLINE and EMBASE searches  performed by researchers at the Centre for  Reviews and Dissemination and the UK  Cochrane Centre Search Filters Design  Group at the University of York, UK.    Methods – Five key approaches to searching  were defined. The first approach used either  text words or controlled vocabulary to  search for specific adverse effects. The  second used subheadings or qualifiers either  attached to drug names found in the  controlled vocabulary (approach 2a) or  ‘floating’ without drug names (approach 2b).  The third approach used text words as  synonyms for the phrase ‘adverse effects.’  The fourth used controlled indexing terms  for adverse effects. The fifth and final  approach used two published search  strategies incorporating study design  (Badgett et al., Loke et al.).   http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:3      61 These five approaches were used to search  for studies of the adverse effects of seven  new anti‐epileptic drugs. 5,011 unique  papers were retrieved. Of these, 236 were  judged potentially relevant and 225 full text  articles were obtained. The inclusion criteria  from a previously published systematic  review (Wilby et al.) were applied to the  papers, and 79 met the criteria. Five papers  were added to the set after being identified  from reference lists, clinical experts, and  other sources. This new set of 84 studies was  used as a quasi gold standard (QGS) against  which more than 300 combinations of the  five approaches could be tested. To create  the set of possible approaches, the  researchers combined search strategies one  through four in all possible ways, and used  all available subheading combinations from  2a and 2b. The Badgett and Loke searches  were tested separately.     Main Results – Sensitivity and precision  were determined for each combination.  Formulas used to calculate sensitivity and  precision were provided. In MEDLINE,  search strategies using floating subheadings  achieved the highest sensitivity. The most  useful single subheading in both MEDLINE  and EMBASE was “adverse effects,” with  79.1% and 79.5% sensitivity respectively. Of  the more than 300 combinations tested, the  most sensitive combination in MEDLINE  included specified adverse effects in  combination with the floating subheadings  “adverse effects,” “complications,” and  “drug effects,” together with text words for  adverse effects. This strategy had 97.0%  sensitivity, but low precision at 2.8%. The  highest precision was achieved by using  subheadings attached to drug indexing  terms. In EMBASE, the strategy of Loke et al.  provided the highest sensitivity at 86.3%  and precision of 2.0%. Since researchers are  not likely to know in advance all of the  reported adverse effects of a particular drug  therapy, the most sensitive strategies  without specific adverse events were also  identified. The search with the highest  sensitivity in MEDLINE had 95.5%  sensitivity, and 97.3% sensitivity in  EMBASE.    Conclusion – Searching for adverse effects  requires a combination of approaches in  both MEDLINE and EMBASE. In MEDLINE,  the most sensitive combination yielded  97.0% sensitivity. Regardless of the  approach used, precision remains low. An  effective generic search filter for adverse  effects searches may not yet be feasible.  More research is needed on search strategies,  as well as more consistent methods of  reporting and indexing adverse effects.    Commentary    Locating reports of adverse events is one of  the most difficult evidence‐based clinical  searches to undertake. Because adverse  effects are reported a number of ways in the  literature, and because newer and  investigational drugs often have not been  incorporated into a controlled vocabulary,  finding these papers becomes as much an  art as a science. The evaluation of over 300  multiple‐term search strategies in this  research study is an important step toward a  generic clinical search filter such as the ones  that currently exist to retrieve studies of  diagnosis, therapy, prognosis, or etiology.    The authors describe in detail their five  varied search approaches as well as their  methods for creating the quasi gold  standard (QGS) and search combinations.  The researchers admit that additional  adverse effects “were later identified by  browsing the QGS set of records” (9).  Adding these additional effects may have  changed the percentage of relevant papers  retrieved.     To create the QGS, the researchers applied  the inclusion criteria developed by a recent  systematic review to the combined results of  Evidence Based Library and Information Practice 2006, 1:3      62 all search approaches. It is impossible to tell  whether or not these criteria were  appropriate without evaluating the  methodological quality of that particular  review. Also, testing search results by  comparing them to the same search results  seems somewhat redundant. Testing the  search approaches against a set of externally  developed records would go a long way  toward eliminating any redundancy.    That the authors tested their strategies in  both MEDLINE and EMBASE is important,  since the degree of overlap in the two  databases varies. EMBASE indexes  pharmaceutical literature not found in  MEDLINE, and MEDLINE indexes clinical  information not found in EMBASE. The  difference in the two databases is apparent  in the controlled vocabulary: only one of the  seven drugs has a MeSH term and is  indexed in MEDLINE, while all seven drugs  are indexed in EMBASE. The implication for  the health sciences librarian is that a truly  thorough adverse effects search should  never use just one database, just as no  librarian should ever base a thorough search  in any discipline on the results from a single  source.    The authors provide useful information on  combinations of search approaches that  yield high sensitivity. Although not quite  ready for incorporation into a generic search  filter, the most sensitive search strategy  combining Approaches 1, 2b, and 3  (MEDLINE) or Approaches 1 and 3  (EMBASE) can currently be utilized by  health sciences librarians searching for drug  adverse effects.    Precision was low in all search approaches  and strategies, indicating that searchers  must be prepared to filter a high number of  irrelevant papers from any given results set.  This finding points to the need for librarians  to sharpen their critical appraisal and  filtering skills, regardless of the subject of  the search.    Works Cited    Badgett, Robert, Elaine Chiquette, Betsy  Anagnostelis, and Cindy Mulrow.  “Locating Reports of Serious Adverse  Drug Reactions.” 7th Annual Cochrane  Colloquium Abstracts (October 1999):  PB54. 28 May 2006.  .    Loke, Yoon K., Sheena Derry, and Angharad  Pritchard‐Copley. “Appetite  Suppressants and Valvular Heart  Disease – a Systematic Review.” BMC  Clinical Pharmacology 2 (23 August  2002): 6. 28 May 2006.  .    Wilby, Jennifer, et al. “Clinical Effectiveness,  Tolerability and Cost‐Effectiveness of  Newer Drugs for Epilepsy in Adults: a  Systematic Review and Economic  Evaluation.” Health Technology  Assessment 9.15 (April 2005): 1‐157, iii‐ iv. 28 May  2006..    http://www.cochrane.org/colloquia/ab http://www.biomedcentral.com/1472%E2%80%90 http://www.hta.nhsweb.nhs.uk/e