Microsoft Word - ES_Loy.doc Evidence Based Library and Information Practice 2007, 2:2  87    Evidence Based Library and Information Practice         Evidence Summary    New Search Strategies Successfully Optimize Retrieval of Clinically Sound Treatment  Studies in EMBASE       A review of:  Wong, Sharon S‐L, Nancy L. Wilczynski, and R. Brian Haynes. “Developing Optimal Search  Strategies for Detecting Clinically Sound Treatment Studies in EMBASE.” Journal of the  Medical Library Association 94.1 (Jan. 2006): 41‐47. 14 May 2007  http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=1324770.    Reviewed by:   John Loy  Learning Resources Manager, Avon & Wiltshire Mental Health Partnership NHS Trust  Callington Road Hospital  Brislington, Bristol, United Kingdom  E‐mail: John.Loy@awp.nhs.uk      Received: 01 March 2007  Accepted: 24 April 2007      © 2007 Loy. This is an Open Access article distributed under the terms of the Creative Commons Attribution  License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, distribution, and  reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To develop and test the  sensitivity and specificity, precision and  accuracy of search strategies to retrieve  clinically sound treatment studies in the  EMBASE database.    Design – Analytical study.    Setting – Methodologically sound studies of  treatment from 55 journals indexed in  EMBASE for the year 2000.    Subjects – EMBASE and hand searches  performed at the Health Information  Research Unit of McMaster University,  Ontario, Canada.     Methods – The authors compare the results  of EMBASE searches using their search  strategies with the “gold standard” of  articles retrieved by hand search. Research  assistants initially hand searched each issue  of 55 selected journals published in 2000 to  identify articles detailing studies on  healthcare treatment of humans. Subject  coverage of the journals was wide ranging  and included obstetrics and gynaecology,  psychiatry, oncology, neurology, surgery  and general practice. Studies were then  assessed to ensure they met the qualifying  criteria: random allocation of participants to  groups, outcome assessment of at least 80%  of participants who began the study, and  analysis consistent with study design.  http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=1324770 mailto:Loy@awp.nhs.uk http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:2  88 Initially, 3850 articles on treatment were  identified, of which 1256 (32.6%) were  methodologically sound. To construct a  comprehensive set of search terms, input  was sought from librarians and researchers  in the US and Canada.  This initially  produced a list of 5385 terms, of which 4843  were unique and 3524 produced hits.  Individual search terms with sensitivity  greater then 25% and specificity greater then  75% were incorporated into search strategies  for use within the OVID interface for the  EMBASE database to retrieve articles  meeting the same criteria. These strategies  were developed using all 27,769 articles  published in the 55 journals in 2000. This all‐ inclusive approach was used to test the  search strategies’ ability to identify high‐ quality treatment articles from a larger pool  of material.    Main results – The single term which  achieved best sensitivity was “random:mp,”  with a sensitivity of 95.1%. This same term  achieved a high specificity of 92.5%. The  best‐performing single term for specificity  was “randomized:tw” at 96.7%, but this did  reduce sensitivity to 63.2%. The single term  to achieve the best balance between the two  was “clinical trial:mp,” with a sensitivity of  88.3% and specificity of 88.0%. Combining  terms produced varied results, and Table 3  within the article details terms used to give  the best combinations for sensitivity,  specificity and optimisation of both. The  best three‐term search strategies for  sensitivity achieved a rate just shy of 99%  with a specificity of 72.0%, while the  optimum three‐term strategy for specificity  achieved 96.7% but with a trade off of  lowering the rate of sensitivity to 51.7%. The  best‐performing combination of search  terms to optimise sensitivity and specificity  produced values exceeding 92% for both.    Conclusion – The authors present search  strategies which can successfully be used to  retrieve methodologically sound studies on  the prevention and treatment of disease and  health complications indexed on the  EMBASE database. A clear outline of the  trade‐off between sensitivity and specificity  of the strategies is included.    Commentary      As the authors highlight in their  introduction, keeping up to date with a  healthcare knowledge base which is  expanding at the rate of over 2 million new  articles a year is a labour‐intensive business.  Separating the wheat from the chaff in order  to focus on high quality evidence based  literature is an increasingly important role  for library services in supporting the busy  clinician. With this objective, the authors set  out to develop optimal search strategies in  order to identify high‐quality treatment  studies in EMBASE. The work is believed to  be the first time such strategies have been  developed for this database and the authors  most certainly achieve their objective.     This is one of several articles by Wilczynski  and colleagues on search strategies, all of  which are referenced in the original article,  and as their earlier work has been adapted  for use as Clinical Queries search filters in  PubMed, we can be assured that we are in  safe hands. In many ways this is a follow‐up  piece to an article the authors conducted on  the MEDLINE database (Haynes 2005) and  which itself was the subject of an Evidence  Summary published in EBLIP (Brown  2006) .That MEDLINE study was praised in  EBLIP as “evidence‐based practice at its  best” and this companion piece is of an  equally high calibre.     The authors are able to build on their  previous work in the field, being confident  to test the strategies on a comparatively  small set of 55 journals whittled down from  an initial 135 titles. Their previous work  using MEDLINE had demonstrated that  using a smaller dataset had produced no  Evidence Based Library and Information Practice 2007, 2:2  89 statistically significant differences from  using a larger one, whilst significantly  decreasing computation time.     A possible shortcoming of the study, and  one not addressed by the authors, presents  itself when contemplating the 55 titles  selected. These 55 are all “big‐name”  mainstream journals which also are indexed  in MEDLINE. As the overlap between  MEDLINE and EMBASE is 30‐50%, one  wonders whether the filters would work as  well if applied to a broader selection of  journal titles and subject headings which are  available within EMBASE but not MEDLINE.    One of the great features of this article is the  exemplary use of tables throughout, each  one clearly laid out and easy to interpret.  The complex search strategies are detailed in  a straightforward table where at a glance it  is easy to compare sensitivity, specificity,  precision and accuracy. Considering the  numerous figures involved and the potential  for confusion, the result is refreshingly  simple to absorb, and other authors should  take note of how to present complex data in  an easily digestible manner.    The authors are also prepared to highlight  the limitations of their study. We are made  aware that there is a real trade off between  specificity and sensitivity of search results.  Using their best specificity strategy, the  sensitivity of the search drops dramatically  to nearly 50%, meaning that almost 1 in 2  clinically relevant articles would be missed.  Searchers need to ponder which is the most  appropriate filter for their needs.     It never hurts to remind ourselves that while  RCTs are a robust methodology, not all  research lends itself to the format of a  randomized controlled trial. While an RCT  will be the research methodology of choice  for high‐quality treatment research, its use is  not always possible or appropriate. A great  deal of rigorous and methodologically  sound research takes place using, for  example, cohort studies, which is an equally  valid methodology. Even if we do embrace  the RCT as king we must remember that not  all RCTs included on EMBASE will have  been conducted to the same standards,  coming as they do from a wide variety of  journals with differing publication criteria.     An excellent illustration is included of what  all this means in practical terms, with a  worked example of a search on herbal  medicine in Table 4. Taking the initial  results of 5696 articles, and combining them  with the search strategy to optimise  sensitivity and specificity, the results are  reduced to 427 hits or around 7.5% of the  original number. While completists may be  prepared to hunt through nearly 6000  references, I for one will be happy to use the  filters presented here and be confident that  any research of note is unlikely to be  missing.      Works cited    Haynes, R. Brian, K. Ann McKibbon, Nancy  L. Wilczynski, Stephen D. Walter, and  Stephen R. Were. “Optimal Search  Strategies for Retrieving Scientifically  Strong Studies of Treatment from  Medline: Analytical Survey.” British  Medical Journal 330.7501 (21 May 2005):  1179‐1182. 14 May 2007   .    Brown, Marcy L. “New Search Strategies  Optimize MEDLINE Retrieval of  Sound Studies on Treatment or  Prevention of Health Disorders.”  Evidence Based Library and  Information Practice 1.2 (2006):  23‐25.  14 May 2007  .  http://www.bmj.com/cgi/content/abstract/330/7501/1179#otherarticles http://www.bmj.com/cgi/content/abstract/330/7501/1179#otherarticles http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/45/111 http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/45/111