Microsoft Word - ART_Lorenzetti.doc Evidence Based Library and Information Practice 2007, 2:1  3 Evidence Based Library and Information Practice     Feature Article    Identifying Appropriate Quantitative Study Designs for Library Research      Diane Lorenzetti  Centre for Health and Policy Studies  University of Calgary  Calgary, Alberta, Canada  E‐mail: dllorenz@ucalgary.ca      Received: 02 December 2006    Accepted: 12 February 2007      © 2007 Lorenzetti. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.   Abstract    This paper is concerned with the identification of quantitative study designs suitable for  library research. Identifying a researchable question and selecting a research method best  suited to it are key to the successful design and execution of any research project.  Each  research situation is unique, and each researcher must find the method that best suits both  their situation and the question at hand.  Following a brief discussion of issues related to  question development, the author outlines a checklist that may assist the process of  selecting study designs for quantitative research projects. When faced with options in terms  of study design selection, pragmatic issues such as expertise, funding, time, and access to  participants may influence this decision‐making process.    Introduction  Identifying a researchable question and  selecting a research method best suited to it   are two important decisions that any  investigator must make when embarking on  a research project. It is these processes with  which this paper is concerned.     After a preliminary discussion of question  development, this paper attempts to shed  some light on research design selection by  introducing a means by which researchers  can match their questions to a selection of  appropriate study designs. The focus of this  paper will be on quantitative research.    What is quantitative research?  Research designs may be qualitative,  quantitative, or mixed methods techniques  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:1  4 which employ both qualitative and  quantitative methods.    Qualitative research focuses on exploring  the views of individuals. “Observing events  from the perspectives of those involved”  (Powell and Connaway 3) is used as a  means to develop theories to explain events  or behavior (Creswell, Educational Research;  Powell and Connaway). Because a  qualitative research approach is exploratory,  it is often used when a topic is new or little  understood, or where “existing theories do  not apply” (Creswell, Research Design 22).    Quantitative research, on the other hand, is  primarily concerned with testing theories  and measuring the relationships between  variables or the impact these variables have  on outcomes of interest (Couchman and  Dawson; Creswell, Educational Research).  Whereas qualitative researchers use events  and individual experiences as a way of  developing theories, quantitative  researchers begin with a hypothesis or  theory and then try to prove or disprove it.  Generally speaking, a quantitative approach  might be recommended if a research project  involves the identification of “factors that  influence an outcome, the utility of an  intervention or understanding the best  predictors of outcomes” (Creswell, Research  Design 21‐22). Within this broad category  are a variety of research designs, including  surveys, bibliometrics, and experimental  designs or techniques.    Experimental techniques is a category of  quantitative research design wherein the  researcher attempts to determine the impact  of an intervention (e.g., a teaching technique,  electronic database, or collection  development policy) on an outcome or effect  of interest. An example of an experimental  design is a randomised controlled trial. In  experimental research, investigators are  interested in exploring issues of “cause and  effect” (Creswell, Educational Research 283).  An investigation into whether or not  researchers who receive training in  literature searching skills are more  successful in obtaining funding from  granting agencies than those who do not is  an example of a research problem that could  be answered through an experimental  research design. Here, the intervention is the  training and the outcome or effect is the  number of successful grant applications.    True experimental designs are those in  which research participants can be  randomly allocated to receive or not receive  an intervention of interest. Quasi‐ experimental designs are experiments in  which researchers, for whatever reason, are  not able to randomly assign participants and,  instead, conduct research with naturally  occurring groups ‐ for example, students  registered in an introductory political  science course (Creswell, Educational  Research).    Developing a researchable question  Before tackling the demanding task of  launching a research project, we should ask  ourselves the following question: What do  we want to know?    In a survey published in a 2001 issue of  Hypothesis, medical librarians were asked to  “identify the most relevant research  questions currently facing the profession”  (Evidence Based Librarianship  Implementation Committee 9). The variety  and complexity of these responses clearly  indicates that the profession continues to  grapple with many challenges. Among other  things, we are concerned with issues of  resource selection, budgeting, library skills  training, the adoption of new technologies,  and the need to determine what impact our  profession has on the clients we serve  (Evidence Based Librarianship  Implementation Committee). There appears  to be no lack of potentially researchable  issues of interest to our profession.  Evidence Based Library and Information Practice 2007, 2:1  5 An awareness of a given topic and its  potential options or issues provides  researchers with the information they need  to decide on the scope and direction of their  research. Those unfamiliar with aspects of a  given topic will find it useful to explore  their area of interest prior to developing  their research questions. A literature review  may identify whether or not research  already exists in librarianship or a related  field. Conducting quality original research  can be time consuming. It may be that  adequate evidence already exists that can be  adapted to your needs.    The importance of developing specific  questions that accurately reflect research  needs cannot be overstated.    Background versus foreground questions  Questions may be loosely grouped into two  types: background and foreground. When  you need to gather together basic  underlying background knowledge on a  topic, you are dealing with a background  question (Booth; Richardson and Wilson). In  addressing a background question, you  attempt to arrive at a greater understanding  of the complexity and diversity of the  literature as a whole, either as an endpoint  in itself or as a first step towards developing  a more focused foreground question. An  example of a background question might be:  “What online systems exist to facilitate the  delivery of distance education courses?”     Now imagine that you have identified  through research that Blackboard (an online  tool that allows students and instructors to  communicate over the Internet) may be an  effective tool for the delivery of distance  education courses in your institution. You  would like to determine if it would be  effective by comparing Blackboard to your  existing method for online course delivery.  A foreground question is very focused in its  research aim. It contains multiple  components, which are clear and can be  clearly stated (Booth; Richardson and  Wilson). An example of a foreground  question might be: “Is Blackboard an  effective tool for online library literacy  course delivery?”     PICO is a model that can help facilitate the  development of a researchable question.     PICO stands for:  P population  I intervention(s) or exposure  C comparison   O outcome(s) of interest    Population is the group under  observation/study (in the case of  collection use studies, the population  could well be the library’s collection of  books, journals, or other media)    Intervention/Exposure is the action or  intervention of interest    Comparison is an alternative action or  intervention against which the  intervention of interest will be measured.    Outcome is a measure of the desired  effect of the Intervention/Exposure    Although PICO was developed as a clinical  model, it can be adapted to other disciplines  of research, including librarianship.     So why use PICO? Identifying the PICO or  building blocks of a question/problem can  identify gaps in question development and  may inspire investigators to rethink and/or  reevaluate an original premise, making for a  solid researchable question.     Using the PICO model may also point the  way towards specific research designs  amenable to particular types of questions of  which yours is but one. For instance, if it  appears that you will be comparing one  intervention to another, this identifies your  Evidence Based Library and Information Practice 2007, 2:1  6 question as belonging to a family of  questions which can be effectively  researched by employing a certain type of  quantitative study design. On the other  hand, if it appears that the research question  properly belongs to that category previously  identified as a background question, this too  is valuable information that may inform the  choice of research design.    So how can this be used? Imagine we are  evaluating the reference services we offer to  students. We would like to know if an in‐ person, drop‐in reference service would  absorb more or less librarian time than an  email reference service.      If we apply the PICO model, the  components of this question might be  identified in this way:    Population:  students  Intervention/Exposure: in‐person drop‐in  reference service  Comparison: email reference service  Outcome: frequency of use    The research question that results from this  exercise could be:     Would an in‐person drop‐in reference service be  used more frequently by students than an email  library reference service?    Although this example fits neatly into the  PICO format, in many instances no  comparison exists in which case “No  Intervention/Exposure” (or placebo) is the  comparison.      Rarely are questions born in their final  format – they almost always require some  tweaking. At this point you might decide to  re‐evaluate your question to focus on any  other outcomes of interest (e.g., amount of  time spent responding to each request) or  populations (e.g., university faculty in  addition to students or perhaps some subset  of the student population).    Identifying the research method  Once a researchable question has been  identified, the next step is to match it to an  appropriate research design. Each design  has its own strengths and weaknesses.  While some may be ideal for tracking trends,  others are better at demonstrating cause and  effect or predicting outcomes. The nature of  a research question should guide the design  selection. At the same time, there may be  more than one research design that could be  appropriate for your project. As with  question development research design  selection can be, in some instances, an  iterative process.    In a 2002 article on levels of evidence in  evidence based librarianship, Eldredge  identified three categories of research  questions: prediction, intervention and  exploration (ʺEBL levels of evidenceʺ).  Prediction questions anticipate outcomes;  intervention questions compare actions or  processes; and exploration questions may be  equated with background questions in that  they often describe or synthesize  observations or results (Booth; Eldredge  ʺEBL levels of evidenceʺ). Eldredge  organized specific research designs  according to their appropriateness for  answering one of these three question types  (ʺEBL levels of evidenceʺ). This paper was  used as the basis for developing the  checklist that follows for the selection of  quantitative research designs.    Using the checklist, librarians new to the  field of research may identify possible  research designs based on the focus or goal  of the question under consideration.  Consider, in general terms, what you hope  to achieve through your research. Determine  which of the activities and corresponding  study designs is conducive to the aims or  goals of your research.  Evidence Based Library and Information Practice 2007, 2:1  7   You may find that more than one research  design fits your needs. When deciding on an  approach, consider not only the suitability  of the research design but the expertise,  resources, time and other variables that will  be integral to the successful completion of  this piece of research. In other words, what  resources will you need in order to research  your question in the manner you have  determined to be the most effective? If those  resources are not available, a different  design may need to be selected.    Descriptions of Research Designs    Bibliometrics  Bibliometrics is a method for describing  patterns of publication within a body of  literature. It has been used in librarianship  to identify core literatures, classify  literatures, predict publishing trends,  describe patterns of book use, and chart the  dissemination of ideas (Powell and  Connaway 63).   Checklist for Selecting a Quantitative Study Design from Eldredge, “EBL Levels of Evidence”  Match the desired aims of your research activity to one or more of the activities and  corresponding research designs outlined below. Descriptions of the research designs follow the  checklist.  Report on observations and analyze experiences with a process, service, program, technology or  individual:    Case Study (aka Case Report)  Identify trends in attitudes, behaviors or characteristics where:    Participants will be surveyed at one moment in time  Cross Sectional Survey    Participants will be surveyed at multiple points in time  Longitudinal Survey  Identify patterns of publication within a given field or body of literature:    Bibliometrics/Citation Analysis  Predict whether the presence or absence of an exposure or event influences an outcome of  interest where:    Participants will be observed from just prior to the exposure into the future  Prospective Cohort Study    Participants will be identified from historical records and followed into the present  Retrospective Cohort Study    Demonstrate if the presence or absence of an intervention, service, or process causes an outcome  of interest. Here the investigator will attempt to test the strength of cause and effect relationships  where:      Evidence Based Library and Information Practice 2007, 2:1  8 No comparison/control group is available and the intervention group will act as its own  comparison via before and after tests  Single Group Controlled Comparison Study    Participants cannot be randomly assigned to intervention or comparison/control groups and pre‐ existing groups must be used  Controlled Comparison Study    Participants can be randomly assigned to intervention or comparison/control groups  Randomized Controlled Trial    Participants may be followed over time and multiple observations (pre‐intervention, during the  intervention, and post‐intervention) may be made  Time Series  Map key concepts and/or identify gaps in a research area:    Scoping review  Evaluate existing published evidence with respect to a specific research question:    Systematic Review  Pool or combine the results of published studies to determine a measure of effectiveness:    Meta‐analysis  Calculate the probability of expected consequences of implementing different strategies:    Decision Analysis    Citation analysis is a form of bibliometrics in  that it focuses on identifying patterns of  citation (Powell and Connaway 63). Citation  analysis can be used to identify seminal  studies in fields of research, trace the  citation history of studies, or identify  influential writers within a field of research.     For more information on bibliometrics,  readers are advised to consult Powell and  Connaway’s Basic Research Methods for  Librarians.    Case Study  Although case studies/case reports rank low  on most evidence hierarchies, they employ  few resources, are relatively easy to  undertake, and for these reasons, are often  the first layer of evidence published with  respect to emerging questions, issues, or     techniques. Eldredge reported in 2004 that  case studies ranked with surveys and  qualitative methods as one of the three most  used research designs in librarianship (ʺEBL:  an overviewʺ 294). Case studies are a means  of reporting on in depth observations and  explorations of an individual, population,  process, technology, or service (The  Cochrane Collaboration Secretariat;  Creswell, Research Design 15; Eldredge,  ʺInventoryʺ; Fraenkel and Wallen). No  baseline information is collected and no  comparison groups are used. For these  reasons, case studies are not capable of  proving cause and effect … although they   can begin the chain of evidence that leads to  a realization of why or how something  happens (Eldredge, ʺInventoryʺ).    Citation Analysis  ‐ See Bibliometrics  Evidence Based Library and Information Practice 2007, 2:1  9 Cohort Study  A cohort is a population of individuals who  share a characteristic (Ruane 99). In a cohort  study a naturally occurring group (the  cohort) is followed over time it is exposed or  not exposed to a particular event. The  outcomes of exposed or non exposed  members of the cohort are compared  (Eldredge, ʺCohort studiesʺ; The Cochrane  Collaboration Secretariat). A cohort study is  an observational study and researchers do  not manipulate the cohort in any way. They  simply observe the course of events in an  attempt to predict whether or not there may  be a relationship between the event and an  outcome or outcomes of interest (Streiner  and Norman). For this reason, cohort  studies are sometimes referred to as event‐ based designs (Ruane). Prospective cohort  studies follow participants “into the future”  (The Cochrane Collaboration Secretariat 8);  whereas retrospective or historical cohort  studies identify participants “from historical  records and follow them from the time of  those records into the present” (The  Cochrane Collaboration Secretariat 8).    For more information on cohort designs,  particularly as they relate to librarianship,  readers are advised to consult Eldredge’s  2002 article on this topic (ʺCohort studiesʺ).    Controlled Comparison Study  In controlled comparison studies, two  groups are compared (Eldredge, ʺEBL:an  overviewʺ 295). Comparisons are made  between an intervention group receiving  intervention A and a comparison /control  group B receiving either intervention B or  no intervention (Fraenkel and Wallen 273).  The aim is to determine if these  interventions (e.g., two different  instructional techniques) have an effect on  an outcome of interest (e.g., knowledge  retention, course grades, etc…). Participants  are not randomised to either group. Instead,  controlled comparison studies attempt to  reduce bias (the chance that observed  outcomes will reflect, for example,  differences in the makeup of the two groups  rather than differences in the interventions)  by attempting to closely match  characteristics of participants in the  intervention and comparison/control groups  (Eldredge, ʺEBL: an overviewʺ 295). In the  case of the instructional techniques example,  we might want to ensure that members of  both groups are in the same year and  program of study, are comparable in age  and background, and have had similar past  exposure to library instruction. Conducting  both pre‐tests and post‐tests also helps  account for variations in these naturally  occurring groups. Controlled comparison  studies are referred to as a type of quasi‐ experimental design.     For more information on controlled  comparison studies, readers are advised to  consult Creswell’s Educational Research  Methods and Powell and Connaway’s Basic  Research Methods for Librarians both of  which contain detailed chapters on  experimental and quasi‐experimental  designs.    Cross sectional Survey ‐ See Survey    Decision Analysis  Decision analysis is a transparent decision  making method wherein all options and  possible consequences of each choice are  made explicit. It “involves identifying all  available alternatives and estimating the  probabilities of [and assigning values to]  potential outcomes associated with each  alternative (Evidence Based Medicine  Working Group 409). Existing research and  data are used to develop the model and  options, and the potential results of those  options are represented graphically as a  decision tree. Researchers use the  probability and value of all outcomes to  develop a “quantitative estimate of the  relative merit of [each alternative]”  (Evidence‐Based Medicine Working Group).  Evidence Based Library and Information Practice 2007, 2:1  10 For more information, readers are advised  to consult Keeney’s overview on this topic.    Longitudinal survey ‐ See Survey    Meta‐analysis  Meta‐analysis is the “use of statistical  techniques in a systematic review to  integrate the results of included studies”  (The Cochrane Collaboration Secretariat 25).  By statistically pooling the results of  multiple studies, it is possible to determine,  with greater certainty, the effect or non‐ effect that an intervention has on an  outcome of interest (Egger, Smith, and  Altman; Powell and Connaway).    Although all meta‐analyses should begin  with a systematic review, not all systematic  reviews do or should include a meta‐ analysis. Although it is possible to conduct a  meta‐analysis with as few as two studies, a  misleading conclusion can result if  researchers attempt to combine the results of  different study designs (e.g., RCTs and  cohort studies) or include data that is not  comparable.      For more information on meta‐analysis  techniques, readers are advised to consult  Systematic Reviews in Health Care: Meta‐ Analysis in Context.    Prospective Cohort Study  ‐ See Cohort study    Randomised Controlled Trial  A randomised controlled trial (RCT) is “an  experiment in which two or more  interventions…are compared by being  randomly allocated to participants” (The  Cochrane Collaboration Secretariat 37). The  intervention group receives the intervention  of interest to the researchers and the  comparison/control group receives either no  intervention (ie placebo) or an alternate  intervention (Creswell, Educational  Research 295). The ability to randomise  participants eliminates many of the  opportunities for bias that exist in other  research designs. That being said, it is not  always possible or appropriate to randomise  participants. For instance, imagine that your  library has a subscription to a particular  electronic database. It is expensive and you  are wondering if it is worth retaining. It may  be difficult (not to mention unethical) to  randomise students to either have or not  have access to a database or other service for  which there is already system‐wide access.  On the other hand, the benefits of email  versus in‐person reference service, one  process of handling document delivery  requests versus another, one‐time versus  multiple follow‐up library instruction  training, etc … may be successfully explored  through an RCT design (Eldredge, ʺThe RCT  designʺ).     For more information on RCT design and  application, readers are advised to consult  Eldrege’s 2003 article on this subject  (Eldredge, ʺThe RCT designʺ), Powell and  Connaway’s Basic Research Methods for  Librarians, and Creswell’s Educational  Research: Planning, Conducting, and  Evaluating Quantitative and Qualitative  Research.    Retrospective Cohort Study ‐ See Cohort Study    Scoping Review  A scoping review is similar to a systematic  review in that it employs rigorous methods  to rapidly yet systematically locate and  review literature appropriate to the research  question under review. Unlike systematic  reviews though, scoping reviews tend to  address broader, less focused questions,  include a variety of study designs, and tend  to not assess the quality of included studies  (Arksey and OʹMalley). Scoping studies are  often undertaken to map key concepts in a  research area and/or identify gaps in the  existing literature. They can be used to  quickly chart complex areas of research,  provide a visual picture of the range of a  Evidence Based Library and Information Practice 2007, 2:1  11 field, and are also useful in identifying  topics where further research might be  warranted.     For more information on scoping reviews,  readers are advised to consult Arksey and  O’Malley’s article on this topic as it provides  both an overview and detailed method for  proceeding with this type of review.    Single Group Controlled Comparison Study  A single group controlled comparison study  (also known as a single group pretest  posttest design) is a controlled comparison  study wherein only one group is under  observation by researchers. The group is  measured or observed both before and after  exposure to the intervention of interest.  Unlike other controlled comparison studies,  the intervention group acts as its own  comparison or control (Creswell, Research  Design; Creswell, Educational Research;  Fraenkel and Wallen; Powell and  Connaway).    Survey  Surveys are “questionnaires administered to  a sample of a population in order to identify  trends in attitudes, opinions, behaviors or  characteristics” (Creswell, Educational  Research 52). Cross sectional surveys or  studies are referred to as snapshots because  they essentially capture information from a  group of respondents at one moment in time  and are useful for describing current  situations and conditions (Ruane 93).  Longitudinal surveys, on the other hand,  gather information at multiple points in  time and may be used to track changes in  values, opinions, attitudes, and behaviors  (Ruane 95). Longitudinal surveys may  repeatedly collect information from the  same individuals or generate new survey  samples each time the survey is  administered (Creswell, Research Design;  Fraenkel and Wallen; Ruane). A checklist for  designing a survey method can be found in  Creswell’s Research Design: Qualitative,  Quantitative, and Mixed Methods  Approaches (155).    For more information on survey designs,  readers are advised to consult Fraenkel and  Wallen’s How to Evaluate Research Design  in Education.    Systematic Review  A systematic review is “a review of the  evidence on a clearly formulated question  that uses systematic, explicit [and  reproducible] methods to identify, select  and critically appraise relevant primary  [original] research, and to extract and  analyze data from the studies that are  included in the review” (Centre for Reviews  and Dissemination 4). Unlike traditional  narrative reviews, systematic reviews are  comprehensive, unbiased, and systematic in  the ways in which literature is located,  selected, abstracted, and reported.      For an excellent overview of the process of  conducting systematic reviews, readers are  advised to consult the 2001 report produced  by the University of York’s Centre for  Reviews and Dissemination entitled  Undertaking Systematic Reviews of  Research on Effectiveness.    Time Series  Controlled comparison studies and  randomised controlled trial designs assume  that the researcher will observe/measure  participants at a single point in time (twice if  a pre‐test is included in the research design).  If you are able to observe participants over a  period of time, you may wish to consider a  randomised or non‐randomised time series  approach. In a time series, multiple pre‐test  and post‐test measures or observations are  taken both before and after the intervention  (Creswell, Educational Research; Polit,  Tatano‐Beck, and Hungler 177). The  strength of the time series design is in its  ability to track the impact of an intervention  over time.  Evidence Based Library and Information Practice 2007, 2:1  12 Discussion  In a statement released in 2001, the Special  Libraries Association (SLA) commented that  “both the need to make decisions quickly  and the lack of a clear connection between  much library and information science  research and the day‐to‐day problems faced  by librarians make seeking and applying  our own knowledge base a challenge.”  Although it may be argued that librarians  continue to experience a certain lack of  professional support with respect to  engaging in research activities, we cannot  claim to be the only profession that is beset  with tight timelines when it comes to  making and implementing decisions.     For those of us not schooled in research  methods however, undertaking a research  project of any sort may appear to be a very  intimidating experience. Certainly a brief  overview article of this sort will, at best,  only whet the appetite for more information.  Although there is much that can and should  be read on this subject before embarking on  a research project, it is often in the  application that we learn the most.     Partnering with an experienced professional  colleague may be the best way for a  budding researcher to become familiar with  the research process. If this is not an option,  we may wish to consider looking a bit  further afield. Many granting agencies look  favorably on proposals submitted by  multidisciplinary teams. Librarians have  skills that make them valuable partners in a  variety of research endeavors. Those of us  who work in academic libraries are  surrounded by research faculty experienced  in leading multifaceted research  investigations, some of whom may be open  to mentoring a beginning researcher in  exchange for active participation on their  teams.    Insofar as research designs are concerned,  the author wishes to reiterate that many  questions may be more effectively  addressed through qualitative research  techniques, and these approaches should be  considered when choosing an appropriate  design. For a discussion of qualitative  research designs in librarianship, readers are  advised to consult Eldredge’s 2004  inventory of research designs (Eldredge,  ʺInventoryʺ) and Powell and Connaway’s  Basic Research Methods for Librarians.  Many researchers are also embracing the  need to incorporate both qualitative and  quantitative methods in their research  projects (Creswell, Research Design).     Conclusion  This paper has touched on the subject of  research design in only the most cursory  sense. No attempt has been made to  comprehensively represent the range of  research designs that exist and may be  applied or adapted to answering all  questions facing our profession. Readers are  encouraged to “research” the process more  thoroughly, and speak with colleagues  before proceeding to engage in a research  endeavor.    Although the focus of this paper has been  on select quantitative techniques, it is not  the intention of the author to recommend  the application of one study design or group  of designs over another in all research  situations. Not every question can or should  be answered by a randomised controlled  trial. Each research situation is unique, and  each researcher must find the method that  best suits both their situation and the  question at hand. When faced with options  in terms of study design selection, it may be  that pragmatic issues such as professional  expertise, time, and access to participants  will influence the decision‐making process.    Sometimes the ideal study design from a  research question perspective is not ideal  from a practical standpoint; an important  characteristic of a researcher should be the  Evidence Based Library and Information Practice 2007, 2:1  13 ability to recognize and creatively adapt to  the challenges of reality.     Works Cited     The Cochrane Collaboration Secretariat.  ʺGlossary of Terms in the Cochrane  Collaboration. Version 4.2.5.ʺ The  Cochrane Collaboration. May 2005. 18  Feb. 2007  .   Egger, Matthias, George Davey Smith, and  Douglas Altman, eds. Systematic  Reviews in Health Care: Meta‐Analysis  in Context. Ed. M. Egger, G. Davey‐ Smith, and D. G. Altman. London: BMJ  Books, 2003.  Evidence‐Based Medicine Working Group.  ʺHow to use a clinical decision  analysis.ʺ Centre for Health Evidence.  2001. 18 Feb. 2007  .  Arksey, Hilary and Lisa OʹMalley. ʺScoping  Studies: Towards a Methodological  Framework.ʺ International Journal of  Social Research Methodology 8.1 (Feb.  2005): 19‐32.  Booth, Andrew. ʺFormulating Answerable  Questions.ʺ Evidence‐Based Practice  for Information Professionals: a  Handbook. Eds. Andrew Booth and  Anne Brice. London: Facet Publishing,  2004. 61‐70.  Centre for Reviews and Dissemination.  ʺUndertaking Systematic Reviews of  Research on Effectiveness: CRDʹs  Guidance for Those Carrying Out or  Commissioning Reviews.ʺ  University  of York Centre for Reviews and  Dissemination. Mar. 2001. 18 Feb.  2007.  Couchman, Wendy and Jane Dawson.  Nursing and Health‐Care Research: a  Practical Guide. 2nd ed. London:  Scutari Press, 1995.  Creswell, John W. Research Design:  Qualitative, Quantitative, and Mixed  Methods Approaches. 2nd ed.  Thousand Oaks, CA: Sage Publications,  2003.  ‐‐‐. Educational Research: Planning,  Conducting, and Evaluating  Quantitative and Qualitative Research.  2nd ed. Upper Saddle River, NJ:  Merrill, 2005.  Eldredge, Jonathan D. ʺEvidence‐Based  Librarianship: an Overview.ʺ Bulletin  of the Medical Library Association 88.4  (Oct. 2000): 289‐302.  ‐‐‐. ʺCohort Studies in Health Sciences  Librarianship.ʺ Journal of the Medical  Library Association 90.4 (Oct. 2002):  380‐92.  ‐‐‐. ʺThe Randomised Controlled Trial  Design: Unrecognized Opportunities  for Health Sciences Librarianship.ʺ  Health Information and Libraries  Journal 20.S1 (2003): 34‐44.  ‐‐‐. ʺInventory of Research Methods for  Librarianship and Informatics.ʺ Journal  of the Medical Library Association 92.1  (Jan. 2004): 83‐90.  ‐‐‐. ʺEvidence‐Based Librarianship Levels of  Evidence.ʺ Hypothesis 16.3 (Fall 2002):  10‐13.  Evidence Based Librarianship  Implementation Committee. ʺThe Most  Relevant and Answerable Research  Questions Facing the Practice of Health  http://www.cochrane.org/resources/h http://www.cche.net/usersguides/deci http://www.york.ac.uk/inst/crd/r Evidence Based Library and Information Practice 2007, 2:1  14 Sciences Librarianship.ʺ Hypothesis  15.1 (2001): 9‐17.  Guyatt, Gordon and Drummond Rennie.  Usersʹ Guides to the Medical Literature:  Essentials of Evidence‐Based Clinical  Practice. Chicago: American Medical  Association Press, 2001.  Fraenkel, Jack R. and Norman E. Wallen.  How to Design and Evaluate Research  in Education. 5th ed. Boston: McGraw  Hill, 2003.  Keeney, Ralph L. ʺDecision Analysis: an  Overview.ʺ Operations Research 30.5  (Sep./Oct. 1982): 803‐38.  Streiner, David L. and Geoffrey R. Norman.  PDQ Epidemiology. 2nd ed. Hamilton,  ON: B.C. Decker, 1996.  Polit, Denise F., Cheryl Tatano Beck, and B.  P. Hungler. Essentials of Nursing  Research: Methods, Appraisal, and  Utilization. 5th ed. Philadelphia:  Lippincott Williams & Wilkins, 2001.  Powell, Ronald R. and Lynn Silipigni  Connaway. Basic Research Methods for  Librarians. 4th ed. Westport, CT:  Libraries Unlimited, 2004.  Richardson, W. S. and M. C. Wilson. ʺOn  Questions, Background and  Foreground.ʺ Evidence Based Health  Care Newsletter 17 (Nov. 1997): 8‐9.  Ruane, Janet M. Essentials of Research  Methods: A Guide to Social Science  Research. Malden, MA: Blackwell  Publishing Limited, 2004.  Special Libraries Association. ʺSLA research   statement: putting our knowledge to  work.ʺ Special Libraries Association.  Jun. 2001. 18 Feb. 2007  . http://www.sla.org/content/resources/