Microsoft Word - ES_Kloda.doc Evidence Based Library and Information Practice 2006, 1:2      33 Evidence Based Library and Information Practice       Evidence Summary    Reference Librarians use Electronic Sources Six Times More than Print Sources to  Answer Patrons’ Questions    A review of:  Bradford, Jane T., Barbara Costello, and Robert Lenholt. “Reference Service in the Digital Age: An  Analysis of Sources Used to Answer Reference Questions.” The Journal of Academic  Librarianship 31.3 (May 2005): 263‐72.    Reviewed by:  Lorie A. Kloda  Instructional Technology Librarian, Life Sciences Library  McGill University Montreal, Quebec, Canada  E‐mail: lorie.kloda@mcgill.ca    Received:  1 March 2006   Accepted:  3 April 2006      © 2006 Kloda. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To test the hypothesis that  electronic sources are used by librarians  more often than print sources to answer  questions at the reference desk.    Design – Use study.    Setting – Small, private university in the  United States.    Subjects – Five full‐time and two part‐time  librarians working at the reference desk for  four months (two months in the fall of 2002,  and two months in the spring of 2003).    Methods – The study recorded every  question asked by library patrons during the  two study periods, with the exception of  non‐library related directional questions and  hardware problems. For each question  recorded, librarians, while working solo at  the reference desk, paraphrased the  question and recorded the source(s) used to  answer each question. Although questions  were recorded regardless of source – in  person, via email, or by telephone – the  medium in which each question was asked  and answered was not recorded. For the  first half of the study period (fall 2002  semester), librarians kept manual records  that were subsequently transcribed into a  spreadsheet by a student assistant.  In the  second half of the study period (spring 2003  semester), the librarians entered data  directly into a spreadsheet. The study’s data  monitor (who was also a study participant)  was responsible for ensuring the integrity of  the data and for assigning a category to each  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:2      34 source. The source category ‘librarian’ was  problematic in that it was unclear whether  or not the actual source of the answer was  the librarian or a source located by the  librarian.  After the first half of the study,  the procedure was changed to require that a  reference librarian was to label a source  used to answer a question as ‘librarian’ only  if the answer came from a librarian’s own  knowledge, and if it did not require  consultation of an outside source. Categories  were generated on the fly, as the data  monitor reviewed the recorded questions  and sources. By the end of the study, 23  categories had emerged. While all sources  for answers were categorized, questions  themselves were not. During the second  part of the study, the gender of the patron  asking the question at the reference desk  was also recorded.    Main results –The results for the fall 2002  and spring 2003 semesters were similar. For  the entire study period, librarians used a  total of 3,487 sources to answer 2,491  questions.  Sources fell into 23 different  categories.  The top 5 categories used to  answer reference questions were databases  (23.92%), librarians (23.6%), library  catalogue (15.03%), internal Web page  (12.27%), and reference books (9.38%).  The  top five categories accounted for 84.2% of all  sources used. For 75% of the questions,  librarians referred to a single source for an  answer. Almost 60% of the sources used to  answer questions were electronic. Of the  internal Web pages used to answer  questions, the library’s online journal title  listings accounted for 76%. Reference books  were used to answer questions in less than  10% of cases. Less than 2% of the library’s  print reference collection (173 of 9,587 titles)  was consulted to answer reference questions  during the study period. The approximate  60:40 ratio of questions asked by female to  male patrons corresponded to the  university’s student body ratio.    Conclusion – The results of this study  confirm the researchers’ hypothesis that  librarians use electronic sources with greater  frequency than they use print sources to  answer patrons’ reference questions. The  surprising finding in this study is the  proportion (approximately one quarter) of  reference questions answered by the  librarians themselves, without the need to  consult an outside source, either print or  electronic. The study suggests that a large  proportion of the reference collection goes  unused in answering patrons’ questions and  that librarians often answer a question using  only a single a source of information. A  reshelving study analyzing use of the  reference collection is underway to  supplement the results of the current study.    Commentary    This study asks an important question for  academic libraries: Do reference librarians  use electronic sources more often than print  sources to answer patrons’ questions? The  answer is a resounding “Yes.”  Unfortunately, the authors did not record  the method by which questions were asked  (in person, via email, or by telephone). Such  data could have provided information about  whether or not sources differed depending  on the request method. Overall, the results  of the study are useful for understanding  usage of the reference collection, the library  Website, the catalogue, and the librarians  themselves in answering patrons’ questions.  The authors also note that many reference  questions asked do not require the expertise  of a professional librarian, although library  policy dictates that the desk be staffed with  one at all times.     The study periods were chosen to ensure a  high number of reference questions. Since  all questions asked by patrons during the  study period were included in data  collection, there is no doubt that the data are  indeed representative of questions asked at  the library reference desk at that particular  institution.  While the programs of study  available at the institution might have  influenced the types of questions asked (and  Evidence Based Library and Information Practice 2006, 1:2      35 subsequently, the types of sources used to  answer them), the results are strong enough  to suggest that this was not due to chance  and that these results are likely not unique  to the location or time of the study.  Possible  confounding factors include librarian age,  prior training, and time pressure – any of  which may have impacted selection and use  of an electronic source versus a print source  or even the decision to use one particular  source rather than another to answer a  question. The modification of data collection  between the fall and spring recording  periods provides a cautionary example of  the need for beta testing of research  processes. This change in methodology may  have influenced the results.    The assignment of reference questions to  categories is somewhat problematic, as these  categories were not determined before the  study began, but were chosen by a single  librarian following data collection.     The authors do not elaborate as to how the  23 categories emerged from the data. Also  problematic is the fact that data was                                                 collected by the study subjects themselves,  who were also the researchers and were  well‐aware of the study’s hypothesis. This  could possibly have introduced bias into the  data.    The implications of this study for academic  libraries are manifold. The authors state that  the manner in which reference questions are  answered can have an impact on training,  staffing levels at the reference desk,  collection development, and Web page  design.  The results strongly encourage  librarians to consider the investment made  in purchasing and maintaining print  reference collections, in contrast with the  emphasis placed on library Website content  and design. Further research could explore  the accuracy of answers to reference  questions, particularly those for which only  one (electronic) source was consulted.