Evidence Based Library and Information Practice Evidence Based Library and Information Practice 2010, 5.1  Evidence Based Library and Information Practice       Evidence Summary    Quality of Online Chat Reference Answers Differ between Local and Consortium Library  Staff: Providing Consortium Staff with More Local Information Can Mitigate these  Differences    A Review of:  Meert, D.L., & Given, L.M. (2009). Measuring quality in chat reference consortia: A comparative  analysis of responses to users’ queries.” College & Research Libraries, 70(1), 71‐84.    Reviewed by:    Laura Newton Miller  Science & Engineering Librarian,   Carleton University   Ottawa, Ontario, Canada  Email: laura_newtonmiller@carleton.ca     Received: 17 Nov. 2009          Accepted: 24 Jan. 2010       2010 Newton Miller. This is an Open Access article distributed under the terms of the Creative Commons‐ Attribution‐Noncommercial‐Share Alike License 2.5 Canada (http://creativecommons.org/licenses/by‐nc‐ sa/2.5/ca/), which permits unrestricted use, distribution, and reproduction in any medium, provided the original  work is properly attributed, not used for commercial purposes, and, if transformed, the resulting work is  redistributed under the same or similar license to this one.    Abstract    Objective – To evaluate the quality of answers  from a 24/7 online chat reference service by  comparing the responses given by local and  consortia library staff using in‐house reference  standards, and by assessing whether or not the  questions were answered in real time.     Design – Comparative analysis of online chat  reference transcripts.    Setting – Large academic library in Alberta,  Canada.    Subjects –  A total of online chat reference  transcripts from the first year of consortium  service were analyzed for this study. Of these,  252 were answered by local library staff and  226 from consortia (non‐local) library staff.    Methods – A stratified random sample of  1,402 transcripts were collected from the first  year of consortium service (beginning of  October to end of April). This method was  then applied monthly, resulting in a sample  size of 478 transcripts. In the first part of the  study, responses were coded within the  transcripts with a “yes” or “no” label to  determine if they met the standards set by the  local university library’s reference  management. Reference transaction standards  included questions regarding whether or not  correct information or instructions were given  and if not, whether the user was referred to an  authoritative source for the correct  132 mailto:laura_newtonmiller@carleton.ca Evidence Based Library and Information Practice 2010, 5.1  information. The second part of the study  coded transcripts with a “yes” or “no”  designation as to whether the user received an  answer from the staff member in “real time”  and if not, was further analyzed to determine  why the user did not receive a real‐time  response. Each transcript was coded as  reflecting one of four “question categories”  that included library user information, request  for instruction, request for academic  information, and miscellaneous/non‐library  questions.      Main Results – When all question types were  integrated, analysis revealed that local library  staff met reference transaction standards 94%  of the time. Consortia staff met these same  standards 82% of the time. The groups showed  the most significant differences when  separated into the question categories. Local  library staff met the standards for “Library  User Information” questions 97% of the time,  while consortia staff met the standards only  76% of the time. “Request for Instruction”  questions were answered with 97% success by  local library staff and with 84% success by  consortia. Local library staff met the “Request  for Academic Information” standards 90% of  the time while consortia staff met these  standards 87% of the time.  For “Miscellaneous  Non‐Library Information” questions, 93% of  local and 83% of consortia staff met the  reference transaction standards. For the  second part of the study, 89% of local library  staff answered the questions in real time, as  opposed to only 69% of non‐local staff. The  three most common reasons for not answering  in real time (known as deferment categories)  included not knowing the answer (48% local;  40% consortia), technical difficulty (26% local;  16% consortia), and information not being  available (15% local; 31% consortia).    Conclusion – The results of this research  reveal that there are differences in the quality  of answers between local and non‐local staff  when taking part in an online chat reference  consortium, although these discrepancies vary  depending on the type of question. Providing  non‐local librarians with the information they  need to answer questions accurately and in  real time can mitigate these differences.    Commentary     Online reference chat has become an  increasingly popular way to meet patrons’  reference needs. As patron expectations of  service grow, libraries are exploring ways to  save time and money, using existing resources  to benefit the most people. The decision to join  a consortium chat reference service can be a  difficult one, because many librarians are  concerned about the ability of outside staff to  answer their users’ questions successfully. But  what is a “successful” transaction? The  researchers discuss the challenges regarding  “success” and “quality” in terms of library  versus user perspectives, and in virtual versus  traditional reference desk transactions.      Meert and Given have developed a new  measure for assessing the quality of a chat  reference transaction by determining whether  or not correct information was provided in  real time and if not, whether patrons were  provided with an authoritative source for the  correct information.  What is “correct” may be  up to interpretation, as sometimes there are  several ways to answer a reference question  (especially regarding Category Three,  “Request for Academic Information”). It is  easier to measure “correctness” in the other,  more factual categories, although  interestingly, this was the category where both  local and non‐local library staff appear to be  almost equally competent in answering  questions.      The researchers discuss some of the issues and  concerns in the literature regarding the in‐ person reference desk transaction and the  online chat interaction. In this study, librarians  in both groups did not answer some of the  questions in real time because they did not  know the answer. This could be characteristic  of certain questions in general. With this in  mind, Meert and Given point out that it would  be interesting to examine whether or not there  are differences in answering questions in real  133 Evidence Based Library and Information Practice 2010, 5.1  134 time on the physical reference desk compared  to in an online chat service.    The researchers suggest that more local user  information provided to non‐local staff may  allow them to answer these types of questions  more easily and in real time. Since the time  that the research was conducted, an  information page was created to offer non‐ local library staff information about facts,  policies and procedures that were not being  answered correctly or in real time. This need  to be more familiar with, or have access to,  information about library procedures, policies  and records raises some interesting concerns  for a local library. For example, some libraries  may have only internal access to certain  policies and procedures (i.e., on a staff  intranet). It may not be an issue for some  kinds of information to be shared, but how  much personal information should an external  librarian know about a local user? Privacy and  legal concerns would require that during  times when consortium librarians are staffing  the chat reference service, they would only be  able to guide users to personal information,  not have access to it themselves. For example,  a consortium librarian could provide steps to  reset a personal identification number (PIN)  but not be able to give out the user’s actual  PIN.      Great care was taken in the selection of  transcripts and preparation of data to easily  repeat the study in another context. It would  be useful to repeat this study with the same  library and consortium to ensure that the  measures put in place since the study  (providing more local information) actually  help the non‐local staff meet the reference  standards. It would also be valuable to repeat  this study with another local library and  consortium arrangement to validate the  findings. Academic libraries can incorporate  this research into their own decision‐making  processes when analyzing the pros and cons of  joining an online consortium, and any library  that uses online chat to provide reference will  find the standards set up by this particular  library’s management beneficial in  maintaining the quality of chat transactions.