Microsoft Word - ES6_937_final_final Evidence Based Library and Information Practice 2008, 3:1   72 Evidence Based Library and Information Practice         Evidence Summary    Collaborative Chat Reference Service Effectiveness Varies by Question Type for Public  Library Patrons    A review of:  Kwon, Nahyun. ʺPublic Library Patronsʹ Use of Collaborative Chat Reference Service: The  Effectiveness of Question Answering by Question Type.ʺ Library & Information Science  Research 29.1 (Mar. 2007): 70‐91.      Reviewed by:  Stephanie Hall  Chief Librarian, Powell River Public Library  Powell River, British Columbia, Canada  E‐mail: shall@powellriverlibrary.ca      Received : 4 December 2007      Accepted : 11 February 2008      © 2008 Hall. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.    Abstract    Objective – To assess the effectiveness of a  collaborative chat reference service in  answering different types of question.   Specifically, the study compares the degree  of answer completion and the level of user  satisfaction for simple factual questions vs.  more in‐depth subject‐based reference  questions, and for ‘local’ (pertaining to a  particular library) and non‐local questions.    Design – Content analysis of 415 transcripts  of reference transactions, which were also  compared to corresponding user satisfaction  survey results.    Setting – An online collaborative reference  service offered by a large public library  system (33 branch and regional locations).   This service is part of the Metropolitan Co‐ operative Library System: a virtual reference  consortium of U.S. libraries (public,  academic, special, and corporate) that  provides 24/7 service.     Subjects – Reference librarians from around  the U.S. (49 different libraries), and users  logging into the service via the public  library system’s portal (primarily patrons of  the 49 libraries).   Evidence Based Library and Information Practice 2008, 3:1   73 Method – Content analysis was used to  evaluate virtual reference transcripts  recorded between January and June, 2004.   Reliability was enhanced through  triangulation, with researchers comparing  the content analysis of each transcript  against the results of a voluntary exit  survey.  Of 1,387 transactions that occurred  during the period of study, 420 users  completed the survey and these formed the  basis of the study, apart from 5 transactions  that were omitted because the questions  were incomprehensible.  Questions were  examined and assigned to five categories:  “simple, factual questions; subject‐based  research questions; resource access  questions; circulation‐related questions; and  local library information inquiries” (80‐81).   Answers were classed as either “completely  answered, partially answered or  unanswered, referred, and problematic  endings” (82).  Lastly, user satisfaction was  surveyed on three measures: satisfaction  with the answer, perceived staff quality, and  willingness to return. In general, the  methods used were clearly described and  appeared reliable.    Main results – Distribution of question types:   By far the largest group of questions were  circulation‐related (48.9%), with subject‐ based research questions coming next  (25.8%), then simple factual questions  (9.6%), resource access questions (8.9%), and  local library information inquiries (6.8%).    Effectiveness of chat reference service by question  type: No statistically significant difference  was found between simple factual questions  and subject‐based research questions in  terms of answer completeness and user  satisfaction.  However, a statistically  significant difference was found when  comparing ‘local’ (circulation and local  library information questions) and ‘non‐ local’ (simple factual and subject‐based  research questions), with both satisfaction  and answer completeness being lower for  local questions.        Conclusions – The suggestion that chat  reference may not be as appropriate for in‐ depth, subject‐based research questions as it  is for simple factual questions is not  supported by this research.  In fact, the  author notes that “subject‐based research  questions, when answered, were answered  as completely as factual questions and  found to be the question type that gives the  greatest satisfaction to the patrons among all  question types” (86).    Lower satisfaction and answer completion  were found among local vs. non‐local  queries.  Additionally, there appeared to be  some confusion among patrons about the  nature of the collaborative service – they  often assumed that the librarian answering  their question was from their local library.   The author suggests some form of triage to  direct local questions to the appropriate  venue from the outset, thus avoiding  confusion and unnecessary referrals. The  emergence of repetitive questions also  signalled the need for the development of  FAQs for chat reference staff and the  incorporation of such questions into chat  reference training.    Commentary    The study uncovers an important nuance in  the effectiveness of virtual reference service  – that is the lower degree of satisfaction and  answer completion for local vs. non‐local  queries – and both Kwon’s question  typology itself and her eminently practical  suggestions for improving user satisfaction  (introduction of question triage, review of  policies, staff training, development of  FAQs, coordination of web page design, and  so on) will be of interest both to future  researchers and to consortia and individual  institutions participating in chat reference.   Evidence Based Library and Information Practice 2008, 3:1   74 It would be interesting to compare the  degree of satisfaction for local and non‐local  queries in the physical vs. the virtual  environment, in addition to looking at how  such questions are distributed in libraries,  and to which types of staff (i.e., clerical vs.  professional).  Given the preponderance of  circulation‐related queries in the study’s  sample, it may be that the cost implication  of using professional reference staff to  respond to routine inquiries is large enough  not to be ignored.      Kwon notes two limitations of the study  under review.  Firstly, it is limited to queries  by patrons in a single library system using a  single type of software.  She suggests further  research in a different setting to validate the  findings.   Secondly, she notes that only  those transactions where the patron  completed the voluntary user survey were  included in the study, and that those  patrons may have different characteristics  from those who declined the survey.   Additionally, it should be noted that the  study is limited to the U.S. context. In  general, however the study is well‐designed  with various measures being taken to ensure  validity and reliability, for example, the use  of a composite variable to determine user  satisfaction and the testing of inter‐coder  reliability.