Evidence Based Library and Information Practice Evidence Based Library and Information Practice 2009, 4.4  Evidence Based Library and Information Practice       Evidence Summary    Library and Informatics Training May Improve Question Formulation among Public  Health Practitioners    A Review of:  Eldredge, Jonathan D., Richard Carr, David Broudy, and Ronald E. Voorhees. “The Effect of Training  on Question Formulation among Public Health Practitioners: Results from a Randomized  Controlled Trial.” Journal of the Medical Library Association 96.4 (2008): 299‐309.     Reviewed by:  Heather Ganshorn  Librarian, Health Information Network Calgary  Calgary, AB, Canada  Email: Heather.Ganshorn@ucalgary.ca     Received: 31 August 2009        Accepted: 14 November 2009      © 2009 Ganshorn. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, distribution,  and reproduction in any medium, provided the original work is properly cited.     Objective – To determine whether providing  library and informatics training to public  health professionals would increase the  number and sophistication of work‐related  questions asked by these workers.     Design – Randomized controlled trial.    Setting – New Mexico Department of Health.    Subjects – Public health professionals from a  variety of professions, including  “administrators, disease prevention  specialists, epidemiologists, health educators,  nurses, nutritionists, physicians, program  directors, and social workers” (301). Only staff  from the New Mexico Department of Health  were eligible to participate.    Methods – All subjects received a three‐hour  training session on finding evidence based  public health information, with a focus on  using PubMed. Two sessions were offered,  two weeks apart. Participants were  randomized to either an intervention group,  which received instruction on the first date, or  a control group, which received instruction on  the second date.     The intervening two weeks constitute the  study period, in which both groups were  surveyed by e‐mail about their work‐related  question generation. Three times per week,  subjects received e‐mail reminders asking  them to submit survey responses regarding all  questions that had arisen in their practice,  along with information about their attempts to  answer them. Questions were tallied, and  totals were compared between the two groups.     Questions were also analysed for level of  sophistication, and classified by the  71 mailto:Heather.Ganshorn@ucalgary.ca http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2009, 4.4  investigators as either “background”  questions, which are asked when one has little  knowledge of the field, and can usually be  answered using textbooks or other reference  sources, or “foreground” questions, which are  often asked when an individual is familiar  with the subject, and looking for more  sophisticated information that is usually  found in journals and similar sources. This  scheme for classifying questions was  developed by Richardson and Mulrow.    Main Results – The investigators found  differences in both the number and  sophistication of the questions asked between  the control and intervention groups. The  control group averaged only 0.69 questions  per participant during the two‐week  observation period, while the intervention  group averaged 1.24 questions. Investigators  also found that a higher percentage of the  questions asked by the intervention group  were foreground questions (50.0%, versus  42.9% for the control group). However, when  two‐tailed t‐test analysis was performed on  both the frequency of questions and the level  of sophistication, the findings were not  statistically significant within a 95%  confidence interval.     Conclusion – This study suggests that library  and informatics training for public health  professionals may increase the number of  questions that they ask on work‐related topics,  and also the sophistication of these questions.  However, more studies need to be done to  confirm these findings. The authors suggest  that replication of the study would be useful,  particularly as Hurricanes Katrina and Rita  interfered with their ability to recruit and  retain participants. They also suggest that  studies be conducted on other training  methods to see which are most effective at  motivating users to seek information. Finally,  the authors suggest that a prospective cohort  study might be a useful method for predicting  the effect of training on participants’  motivation to pursue answers to their  questions.       Commentary    This trial was unfortunately not powerful  enough to draw conclusions about the impact  of instruction on question formulation. The  authors had a much smaller number of study  subjects than they had hoped for, in part  because Hurricanes Katrina and Rita caused  much of New Mexico’s public health  workforce to be deployed to the Gulf States to  provide emergency assistance. The authors’  goal was to recruit 130 participants; they were  only able to recruit 75, who were evenly  allocated between control and intervention  groups. A larger sample size would likely  have generated more conclusive results.    The two‐week window for data gathering was  arguably too short to demonstrate behaviour  change. A longer study period might have  allowed the authors to observe whether the  intervention had an effect over time.    The authors followed good practices in the  planning and carrying out of the trial. A web  service was used to randomize the subjects,  and the investigator responsible for coding the  data was blinded to the allocation of each  subject. Efforts were also made to minimize  Hawthorne effect (the possibility that the act  of observation may change subjects’  behaviour) by running a two‐week survey  period prior to the first training session, in  order to get the subjects accustomed to e‐mail  reminders and the need to submit their  questions. The instruction sessions were  carried out identically to the best of the  instructor’s ability.     The authors include the survey instrument  they used as an appendix to the article, which  is very useful, and something that more  authors should do as part of publication.  However, they do not indicate whether this  instrument was validated. The survey  instrument also asked whether or not subjects  attempted to find an answer; why they may  not have attempted to do so; and whether any  information‐seeking activity successfully  answered their question. However, the results  of these survey questions were not reported in  72 Evidence Based Library and Information Practice 2009, 4.4  73 the article. Although the stated objective of the  study was to look at question formulation, it  would have been interesting to also see  whether the instruction actually enabled  subjects to answer their own questions.    The content of the instruction session could  have been better described. The authors state  that it:   consisted of a three‐hour‐long  training session covering basic  EBPH [evidence based public  health] principles, such as  definitions and types of EBPH  questions, levels of evidence,  evaluations of both  information and statistics  websites relevant to public  health, PubMed training  tailored to public health  practitioners’ needs, and free  peer‐reviewed web‐based  journals. (303)     However, the authors do not mention whether  any pre‐assessment of participants’ skills and  needs was carried out to ensure that  instruction was tailored appropriately; nor do  they indicate whether the instructional format  was demonstration only, or whether there was  an  interactive element.  Without such details,  it is difficult to replicate this study, or to  hypothesize about how the session’s content  and method of delivery may have influenced  the results. The need for improved reporting  of studies on information skills training has  been noted by Brettle.    As the authors themselves note, the lack of  statistical significance in their findings makes  generalization of their results problematic, but  they suggest interesting directions for research  and practice nonetheless. Their most  important suggestion is that anyone seeking to  replicate the study do so with a larger sample  size. I would also add that this type of clinical  trial could be carried out with other groups of  health‐care practitioners, and it would be  interesting to see if there are differences  between groups both at baseline and after an  instructional intervention. Those looking to  conduct such a study should not only plan to  sample a larger group, but carry out multiple  follow‐ups  over a longer period of time.    This study suggests that training increases  information‐seeking behaviour. This appears  to validate the use of library instruction for  public health practitioners (and presumably  for other groups, as well). Instructional  librarians should be conscious of this, and  market any reference services or point‐of‐care  tools that make it easier for practitioners to  obtain the answers they seek.      Works Cited    Brettle, Alison. “Information Skills Training: A  Systematic Review of the Literature.”  Health Information & Libraries  Journal 2.s1 (2003): 3‐9.    Richardson W. Scott, and Cynthia D. Mulrow.  “Lifelong Learning and Evidence‐ Based Medicine for Primary Care.”  Textbook of Primary Care Medicine.  Ed. John Noble. St. Louis, MO: Mosby,  2001. 2–9.