A Case for Evidence-Based Practice 45        Columbia Social Work Review, Volume I    Evidence­Based Practice  A Case for Evidence­Based Practice    Tara Batista    Evidence­based practice (EBP) has enjoyed increasing popularity in the field  of social work. However, not everyone is enthusiastic about this movement.  This paper defines EBP, attempts to clarify common misconceptions about  EBP, and organizes and analyzes some of the criticisms of EBP so that the  field of social work can move onto a more productive debate about its legiti­ mate strengths and limitations.     Evidence­based practice (EBP) has increased in prevalence in the  field of social work and enjoys a strong body of supporters. However, not eve­ ryone is enthusiastic about this shift. Indeed, one need not look hard to find  resistance to this movement from the field and even from schools of social  work that teach EBP. Some practitioners contest that their authority, expertise,  and reflective judgment should not be replaced by a mechanistic evidence­ based decision­making process and are skeptical about the practicality of such  a research­based approach. Other social workers and researchers feel that EBP  is too narrow to encompass the dynamic nature of complex social problems.  Still others worry that EBP may inadvertently restrict the development of novel  interventions. This paper attempts to clarify common misconceptions about  EBP and to organize and analyze some of the criticisms of EBP so that the  field of social work can move to a more productive debate about its legitimate  strengths and limitations.     What is Evidence­Based Practice?    EBP is “the conscientious, judicious and explicit use of the current  best evidence in making decisions about the care of individuals” (Gibbs &  Gambrill, 2003, p. 453). EBP is conscientious in the sense that it should be  ethical, effective, and honest. It is judicious because the decision to incorporate  a piece of evidence into practice should be considered and prudent. Using the  current best evidence means that practice and policy decisions are based on  evidence that utilizes the most rigorous methodology possible and is subject to  updating. EBP should also be explicit in its transparency. This means practitio­ ners and policy makers are expected to share the evidence with their clients or  constituents and consider client feedback in the decision­making process. Cli­ ents also feed into the decision­making process through qualitative research on  client views and experiences, and satisfaction surveys. Through this collabora­ tive process, practitioners incorporate clients’ values as a key part of their deci­ sion­making. Therefore, EBP must be a comprehensive approach that inte­ grates client values and preferences with practitioner knowledge, expertise, and  judgment. There are a variety of diagrams like the one below that illustrate the  inclusive EBP model.   Columbia Social Work Review, Volume I       46  Batista  Figure 1    Source: Gibbs, 2003, p. 14.   The definition and model above describe using the “best external evi­ dence.” Determining what constitutes the best evidence depends on the type of  question. For questions concerning effectiveness, EBP advocates refer to a  hierarchy of evidence where the best external evidence sits at the peak as dem­ onstrated below in Figure 2. This hierarchy places systematic reviews of ran­ domized controlled trials (RCTs) and meta­analysis at the top, and personal  testimony and expert opinion at the bottom with many other methods of  evaluation in between such as: cohort studies, case­control studies, and case  reports. If there are no systematic reviews or RCTs conducted on a specific  research topic, the evidence­based practitioner moves down the hierarchy until  an appropriate study design can be found.                47        Columbia Social Work Review, Volume I    Evidence­Based Practice  Figure 2    Source: University of North Carolina Chapel Hill, 2008.        As a holistic approach, EBP adheres to a hierarchy of the best, cur­ rent, and available evidence while incorporating client and practitioner values,  yet it should be emphasized that EBP is a process that actually includes several  steps. These steps consist of: (1) Converting information needs into answerable  questions; (2) Searching for the best evidence to answer the questions; (3)  Critically appraising the evidence for validity and usefulness; 4) Applying the  results of this appraisal to policy/practice decisions; and 5) Evaluating the out­ comes (Gibbs & Gambrill, 2002). As both a process and an approach, an ex­ ample of EBP can be found in Gibbs and Gambrill’s text which follows a so­ cial worker through the five steps described above (2002).     A social worker at a nursing home learned that the facility might be  shut down in 60 days by state inspectors. All 135 residents would have to  move. (Step 1: Answerable Questions) The social worker wondered: “What is  the effect of relocation on mortality rates in elderly residents of a nursing  home?” and “If relocation is necessary, what is the most effective way to relo­ cate elderly residents?” (p. 455). (Step 2: Evidence Search) She conducted an  online literature search using seven different relevant databases. (Step 3: Evi­ dence Appraisal) After reviewing abstracts to indentify well­designed studies,  she found a review summarizing 11 studies that addressed both of her research  questions. Two of these studies were single­group pre­posttest studies, two  were posttest only, seven were pre­test/posttest with a control group, and one  was a RCT. The general results of her research indicated that “inter­ institutional relocations are stressful but usually not life­threatening” (p. 456)  and much of the stress can be reduced by consulting with nursing home resi­ dents in preparation for a move. The studies described different preparation  Systematic Reviews and Meta Analysis of RCTs  Columbia Social Work Review, Volume I       48  Batista  techniques such as taking residents and families on tours of the new facility  and asking them for input on the color and location of their rooms. (Step 4:  Apply Results) The social worker presented her findings at a staff meeting  which better prepared the staff in the event of relocation. (Step 5: Evaluate)  Fortunately, the residents did not have to relocate; however mortality rates and  other undesirable outcomes could have been measured after a move to see if  the preparation was effective.   This example incorporates the definition, steps, and comprehensive  approach of EBP. The story effectively demonstrates how EBP can and should  work. Although seemingly straightforward and reasonable, EBP has actually  proven to be quite controversial. Common criticisms in the literature concern­ ing EBP can be allocated to four main categories: limitations of EBP based on  misconceptions, inapplicability critiques, practicality arguments, and philoso­ phical critiques. This list is not exhaustive, as delineating every single criticism  of EBP is beyond the scope of this paper.     Limitations Based on Misconceptions of   Evidence­Based Practice     Many criticisms are based on misinterpretations of EBP. Two main  criticisms that fall under the umbrella of misconception critiques are: EBP is  too narrow and too simplistic in its approach. Critics believe it is too nar­ row because it relies heavily on RCTs and that it is too simplistic because it  imposes universal “cookbook” solutions that dictate intervention application  without sufficient regard to individual and situational factors.         A Narrow Approach    EBP is often described as over­emphasizing the “gold standard” of  RCTs. A few of the many examples of criticisms regarding RCTs are demon­ strated in the following statements: “The orthodoxy of experimental manipula­ tion and RCTs is dangerous when applied unthinkingly to health promotion,”  or, “randomized comparisons can yield biased assessments of true effects of  interventions,” and “randomized designs have, like all designs, important limi­ tations” (as cited in Chalmers, 2003, p. 8).   It is true that “EBP favors methods that critically appraise claims so  that we do not misinform ourselves and our clients” (Gibbs & Gambrill, 2002,  p. 464). EBP uses RCTs because they are the optimal evaluative design for  measuring intervention effects. With questions about whether an intervention  produces the desired outcome, “non­experimental approaches …routinely lead  to false positive conclusions about efficacy” (Sackett et al., 1996, para. 8).  RCTs, and especially systematic reviews of several randomized trials, are con­ sidered the “gold standard” because they rely on an experimental design and  are therefore more likely to inform than mislead (Sackett et al.). RCTs accom­ plish this in two ways: 1) Through randomly allocating participants to com­ parison groups to abolish selection bias and 2) Through the use of a control  49        Columbia Social Work Review, Volume I    Evidence­Based Practice  group so that we know it is the intervention that is causing the change instead  of external lurking variables. Systematic reviews are also at the top of the hier­ archy because they are “typically more rigorous,” “exhaustive in the search”  strategy, “transparent” and “less grandiose in claims of effective­ ness” (Gambrill, 2003, p. 13­14). In short, depending on the research question,  certain kinds of evidence are more accurate, useful, and reliable than others.     Although RCTs are ideal when applied to questions concerning cau­ sality and effectiveness, EBP recognizes the limitations, biases, and applicabil­ ity of each research approach, including RCTs. This understanding is illus­ trated in EBP textbooks, articles, and instructional manuals. The curriculum  describing EBP clearly states that it is not restricted to RCTs. It involves iden­ tifying the best external evidence in order to answer important clinical ques­ tions (Sackett et al., 1996). Different research designs are applicable to answer  different types of questions. For example, “to find out the accuracy of a diag­ nostic test, we would use cross­sectional studies of patients who might have  the relevant disorder, not a randomised trial” (Sackett et al., para. 8).       Often, RCTs cannot and need not be used at all; nor does EBP require  it. For example, researchers would not use a RCT to test the effectiveness of  parachutes even though proof of their effectiveness is based largely on anecdo­ tal evidence and observational data. In fact, Pell and Smith conducted a sys­ tematic review titled “Parachute Use to Prevent Death and Major Trauma Re­ lated to Gravitational Challenge” (2003) and were shockingly unable to iden­ tify any RCTs. There are also instances where researchers cannot use randomi­ zation. This is especially true in the arena of program evaluation where govern­ ment and nonprofit agencies do not allow randomization for ethical or political  purposes, or researchers are contracted to evaluate existing programs that have  not employed randomization. In fact, the vast majority of the social work evi­ dence base consists of quasi­experimental or observational research.     The confusion among critics about the role of RCTs in evidence­ based social intervention lies in the failure to distinguish the purpose of using  one research design over another (Chalmers, 2003). The key question to ask is:  “Can researchers manipulate the factors?” For example, to understand the ef­ fects of divorce on child development, a researcher would not use a RCT be­ cause it is a contextual question and the researcher cannot manipulate the vari­ ables (i.e. the researcher cannot make one half of the children’s parents di­ vorce). After conducting primary cross­sectional research or reading studies of  child development, the researcher might be able to form a theory. The theory  can then lead to intervention ideas. These intervention ideas can be tested in  three stages. The first stage is a pilot or feasibility study. If feasible, the inter­ vention can then be investigated using a RCT in a tightly controlled efficacy  study, then later in a “real world” effectiveness study (Carroll & Onken, 2007).  Furthermore, the RCT can be combined with qualitative methods and mediator  and moderator analyses to elucidate the processes and mechanisms that explain  why, how, and for whom the intervention works. In other words, there is actu­ ally no need to pick one design over another. In fact, mixed­method ap­ proaches are becoming increasingly popular in evidence­based social interven­ Columbia Social Work Review, Volume I       50  Batista  tion research.     In short, EBP incorporates an array of different kinds of evaluation  methods based on the best available evidence that can answer the specific type  of question asked to solve a particular problem. It is too simple to focus on the  flaws of RCTs or any particular evaluation method. EBP does not  “unthinkingly” apply experimental methods to promote any intervention. It is  understood that biases and limitations are an inevitable part of any methodol­ ogy; however, EBP attempts to choose an appropriate method that reduces bias  as much as possible.       A Simplistic Approach    There is a common fear that EBP will replace practitioner expertise  by dictating solutions to professionals that ignore their values and preferences  and those of their clients. This is based on the misunderstanding that EBP takes  a “cookbook” approach or uses a one­size­fits­all model. This recipe for poten­ tial disaster does not consider the actual definition of EBP and the steps and  diagram described earlier. Practitioner’s expertise decides whether research  evidence applies to the individual client at all, and if so, how it should be im­ plemented into practice while keeping the client’s voice in mind. Those who  employ EBP argue that external evidence can inform, but not replace, individ­ ual clinical expertise (Sackett et al., 1996). As the earlier diagram illustrates,  EBP is intended to be a comprehensive and empowering strategy that inte­ grates the best, current, available evidence with practitioner expertise and cli­ ent preferences.     The “cookbook” misconception suggests that EBP poses one certain  solution for each individual problem. As Newman, Moseley, Tierney, and Ellis  (2005) explain, “contrary to popular belief, evidence­based practice is not  about searching for a ‘right answer’ because there rarely is only one right an­ swer” (p. 5), in social work and social policy. Additionally, EBP actually  makes no statement on the individual level. Systematic reviews and RCTs as­ sess the probability of an outcome occurring on an aggregate level. In other  words, EBP “cannot deliver certainties, just increase probabilities” (Newman,  Moseley, Tierney, & Ellis, 2005, p. 5).     An Approach Inapplicable to Social Interventions    There is a belief that the problems social work and social policy ad­ dress are too complex and dynamic to apply the formulaic process of EBP  (Plath, 2006) and that while EBP might work for medical interventions, it will  not work for social interventions. However, evidence­based social interven­ tions are not new. In fact, social work has a long history of using scientific  research evidence to guide practice, dating back to the turn of the twentieth  century (Gibbs, 2002). In the 1930s social scientists in the United States were  trained in experimental methods, and evaluations of social interventions were  carried out by independent investigators. Between the early 1960s and late  51        Columbia Social Work Review, Volume I    Evidence­Based Practice  1980s, RCTs emerged as the ideal method for assessing a wide range of public  policy interventions (Oakley, 1998). One of many examples of EBP in action  is a recent systematic review that evaluated the effectiveness of sexual absti­ nence­only HIV prevention programs in high­income countries. The review  found that these programs had no effect on the HIV rate (Underhill, Montgom­ ery, & Operario, 2007). In response to the evidence, the US Congress reas­ sessed funding for these programs. Another example of the successful imple­ mentation of EBP is when professionals delivering an education and training  program for high school dropouts agreed to a RCT to assess its effects, in spite  of their concern that it might fail to find any beneficial effects of their work.  The results of the trial were positive and led to a 15­site expansion serving  hundreds of disadvantaged youth (Chalmers, 2003).    These examples demonstrate that rigorous scientific methods and ap­ propriate design choices can be used to successfully evaluate social interven­ tions. Critics who claim that EBP is not applicable to social interventions be­ cause we “cannot quantify the human experience” (Chalmers, 2003) are right:  The human experience may not be quantifiable, but the effectiveness of spe­ cific interventions is.     An Impractical Approach for Real World Practitioners    There are many practical reasons practitioners do not incorporate EBP  into their daily routine. These include lack of resources, time, training, and  evidence. Practitioners are often busy with overwhelming caseloads, managing  several job titles. They may feel that they have more pressing tasks to accom­ plish than to become researchers on the side (Newman, Moseley, Tierney, &  Ellis, 2005). Although this argument is legitimate, social work practitioners are  professionally obligated to use evidence to inform their practice if they seek to  adhere to a code of ethics.    Incorporating evidence into practice is not just ethical, but practically  speaking, EBP actually saves time and money. EBP can help practitioners to  identify the most effective interventions. Systematic reviews summarize RCTs  so practitioners do not have to search, find, and read each one and then try to  evaluate their collective effectiveness. Additionally, developments in informa­ tion technology have greatly accelerated the process by which information can  be searched, identified, obtained, and updated. Practitioners no longer have to  spend hours attempting sophisticated searches because “the average length of  time to conduct an electronic search [is] between 5.5 minutes ­7 minutes 6 sec­ onds” (Gibbs, 2003, p. 18). Furthermore, a simple search of Google Scholar  can provide useful results. As previously demonstrated in the example of the  social worker in the nursing home, incorporating EBP into decision­making  does not necessarily entail a lengthy research process.     Even when practitioners have time to search, they may feel they lack  the skills to navigate the vast amount of available information. To exacerbate  this problem, schools of social work in the United Kingdom and United States  have not dedicated adequate attention to instruct students how to search for and  Columbia Social Work Review, Volume I       52  Batista  locate pertinent research from online databases (Newman, Moseley, Tierney, &  Ellis, 2005). Although this is a legitimate problem, it is far from insurmount­ able. Simple searches of the most important and relevant databases are achiev­ able by any practitioner with access to a computer and the internet (Newman et  al.). Additionally, practitioners can refer to several user­friendly guides on how  to search and can also seek assistance from reference librarians for sophisti­ cated searches.     Where practitioners have the time and skill to conduct searches, there  may not be enough evidence to establish which interventions work. In the case  when there is no evidence for an intervention, or the evidence is scarce, practi­ tioners should report their findings, use their best judgment, and be open to  alternatives (Newman et al.).     Philosophical Criticisms    Perhaps the most legitimate criticism of EBP is philosophical in na­ ture. Organizational Theory professor Jim Mandiberg warns, "Evidence­based  practice is anti­innovation! It is a bunch of like­minded funders who already  agree with EBP reading each other’s proposals deciding only to fund the hand­ ful of evidence­based practices that they agree with" (personal communication,  January, 21, 2010). Khun's theory of the structure of scientific revolutions sug­ gests that real innovation comes from the periphery – that is, from those mem­ bers who do not follow the established paradigm (1962). EBP must then seek  to incorporate and evaluate social interventions and ideas from alternative  sources in addition to peer­reviewed academic journals. To a certain extent, the  growing popularity of the evaluation of existing social programs can help in  this area. If a client and/or practitioner implements a new intervention, then the  success or failure of that intervention should be documented and absorbed into  the evidence base so that others can learn from it. Furthermore, the recent sup­ port of the stage model of intervention development (the aforementioned proc­ ess where researchers design and test inchoate interventions in feasibility, effi­ cacy, and effectiveness study stages) is spawning innovation from within aca­ demia. We must be cautious not to focus exclusively on current evidence­based  practices and, as a consequence, ignore more ground­breaking interventions  from non­conformist social work pioneers.       Conclusion    EBP is criticized for a variety of reasons. These critiques are mainly  based on misconceptions and the impracticality of EBP. However, EBP is a  comprehensive approach incorporating research evidence together with clients  and practitioners’ values. It utilizes the best, current, and available evidence  relevant to the research question asked. There is a clear hierarchy of evidence  with regard to questions of effectiveness. If little or no evidence is available,  practitioners should report the state of the evidence and use their best judg­ ment. EBP gives us a mode of comparison for competing interventions and a  53        Columbia Social Work Review, Volume I    Evidence­Based Practice  set of tools to make informed decisions. It is a constantly evolving journey, not  a stance. EBP researchers must be careful not to overlook innovative ap­ proaches, but rather incorporate them into the process as best identified by cli­ ents and practitioners. Better methods of evaluation and interventions will re­ place previous best practices. EBP is not perfect, but when used correctly, it  has tremendous potential to provide clients with information, options, and pro­ grams that work.        References    Carroll, K.M., & Onken, L.S. (2007). Behavior therapies for drug abuse. The    Journal of  Lifelong Learning in Psychiatry, 5 (2), 240­248.   Chalmers, I. (2003). Trying to do more good than harm in policy and practice:    The role of rigorous, transparent, up­to­date evaluations. Annals of the    American Academy of Political and Social Sciences, 589, 22­40.   Gambrill, E. (2003). Evidence­based practice: Sea change or emperor’s new   clothes? Journal of  Social Work Education, 39, 3­23.   Gibbs, L., & Gambrill, E. (2002). Evidence­based practice: Counterarguments     to objections. Research on Social Work Practice, 12, 452­476.  Gibbs, L. (2003). Evidence­based practice for the helping professions: A     practical guide. Pacific Grove, CA: Thomson/Brooks Cole.   Kuhn, T.S. (1962). The structure of scientific revolutions. Chicago: University    of Chicago Press.   Newman, T., Moseley, A., Tierney, S., & Ellis, A. (2005). Evidence­based    social work: A guide for the perplexed. Lyme Regis: Russell House    Publishing.   Oakley, A. (1998). Experimentation and social interventions: A forgotten but     important history. British Medical Journal, 317, 1239­1242.   Pell, J., & Smith, G. (2003). Parachute use to prevent death and major trauma    related to gravitational challenge: Systematic review of randomized    controlled trials. British Medical Journal, 327, 1459­1461.   Plath, D. (2006). Evidence­based practice: Current issues and future directions.    Australian Social Work, 59 (1), 56­ 72.   Sackett, D.L., Rosenberg, M.C., Muir Gray, J.A., Haynes, B.R., & Richardson,    S.W. (1996). Evidence based practice: What it is and what it isn’t.    British Medical Journal, 312, 71­72.   Underhill, K., Montgomery P., & Operario, D. (2007). Sexual abstinence only    programmes to prevent HIV infection in high income countries:     Systematic review. British Medical Journal.     doi: 10.1136bmj.39245.446586.BE   University of North Carolina Chapel Hill. (2008). [Graphic representation of    the hierarchy of evidence pyramid]. Hierarchy of evidence from the    prescribing for better outcomes project. Retrieved from     http://prescribingforbetteroutcomes.org/?q=resources/ evaluating