Microsoft Word - ES_Haigh.doc Evidence Based Library and Information Practice 2006, 1:3      77 Evidence Based Library and Information Practice       Evidence Summary    Library Catalogue Users Are Influenced by Trends in Web Searching Search Strategies     A review of:  Novotny, Eric. “I Don’t Think I Click: A Protocol Analysis Study of Use of a Library Online  Catalog in the Internet Age.”  College & Research Libraries, 65.6 (Nov. 2004): 525‐37.    Reviewed by:  Susan Haigh   Senior Policy Officer, Library and Archives Canada  Ottawa, Ontario, Canada  E‐mail: susan.haigh@lac‐bac.gc.ca    Received: 25 May 2006            Accepted: 23 June 2006      © 2006 Haigh. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To explore how Web‐savvy  users think about and search an online  catalogue.     Design – Protocol analysis study.    Setting –  Academic library (Pennsylvania  State University Libraries).    Subjects – Eighteen users (17 students, 1  faculty member) of an online public access  catalog, divided into two groups of nine  first‐time and nine experienced users.       Method – The study team developed five  tasks that represented a range of activities  commonly performed by library users, such  as searching for a specific item, identifying a  library location, and requesting a copy.  Seventeen students and one faculty member,  divided evenly between novice and  experienced searchers, were recruited to  “think aloud” through the performance of  the tasks. Data were gathered through audio  recordings, screen capture software, and  investigator notes. The time taken for each  task was recorded, and investigators rated  task completion as “successful,” “partially  successful,” “fail,” or “search aborted.”  After the searching session, participants  were interviewed to clarify their actions and  provide further commentary on the  catalogue search.      Main results – Participants in both test  groups were relatively unsophisticated  subject searchers. They made minimal use of  Boolean operators, and tended not to repair  failed searches by rethinking the search  vocabulary and using synonyms.  Participants did not have a strong  understanding of library catalogue contents  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:3      78 or structure and showed little curiosity in  developing an understanding of how to  utilize the catalogue.      Novice users were impatient both in  choosing search options and in evaluating  their search results. They assumed search  results were sorted by relevance, and thus  would not typically browse past the initial  screen. They quickly followed links,  fearlessly tried different searches and  options, and rapidly abandoned false trails.      Experienced users were more effective and  efficient searchers than novice users. They  used more specific keyword terms and were  more persistent to review their search  options and results. Through their prior  experience, they knew how to interpret call  numbers, branch library location codes, and  library terminology such as ‘periodicals’.      Participants expected the catalogue to rank  results based on relevancy like an Internet  search engine. While most were observed to  understand intuitively the concept of  broadening or narrowing a search, a  ‘significant minority’ added a term to an  already too‐narrow search to improve their  search results.      When interviewed, participants suggested  several ways to improve the catalog search  query, such as adding summaries and  contents, ranking results by relevance and  degree of exact match to search terms,  including an Amazon‐like “find more like  this” feature, and providing context‐ sensitive and interactive online help,  especially at the point when a search has  produced too many or too few hits.      Conclusions – The study concluded that  library catalogue users are heavily  influenced by trends in Web searching. No  matter what type of search a task called for,  the participants tended to expect a simple  keyword search to lead to optimal results  presented in relevancy‐ranked order.     Because users do not generally know or care  about the structure of a bibliographic record,  and many have little concept of what a  library catalogue is for or what it contains,  Novotny suggests that user instruction  needs to address these basics.  He also  suggests that library professionals and  library system vendors must work together  to address the clear evidence that library  catalogues are failing their users.     Commentary    This was a thorough and generally  methodologically sound study.  However,  given that the study objective was to assess  how a group of “Web‐savvy generation”  users use an online catalogue, it is not clear  enough that the sample, especially the  ‘experienced’ group, were all of that  generation and indeed Web‐savvy.     One regrettable shortcoming in data  collection was that user satisfaction ratings  were not collected.  There are also a few  shortcomings in data reporting. For example,  no table is provided to show success rates  by task and type of user, although these  data were captured. Thus, the reader cannot  confirm the second part of the assertion that  “On average, [experienced users] spent less  time per task and were more likely to  complete tasks successfully” (530).  In fact,  more supporting data in the discussion  would have been helpful in the discussion.  For example, the discussion states that users  were “far more likely to try another search  than to examine the reasons why the initial  search failed” (529). But the number of  failed searches is not reported, nor is the  percentage of times that participants tried  new searches instead of asking themselves  why a search failed.     Evidence Based Library and Information Practice 2006, 1:3      79 Although the study was intended to suggest  interface changes for the Pennsylvania State  Libraries catalogue, it is unclear whether  any changes were made as a result of the  study. By describing changes the author  personally made to his instruction sessions,  he seems to give more credence to adjusting  user education than to revising local  interface choices, though both are no doubt  merited.      Ultimately, the author lands—correctly in  my opinion—on the fact that local tweaks,  whether to interface or instruction, are not  the whole answer. We cannot persist in  thinking that users will come to understand  our way of doing things if only we educate  them enough.     The evidence suggests that the long‐ standing and well‐documented failures of  the online library catalogue are now simply  more acute, given the pervasiveness of  alternate search models and interfaces  provided by Internet search tools.                                               The library profession needs to  acknowledge how users actually search,  then work proactively with vendors to build  systems that accommodate these actual user  behaviors. That likely means that we need to  build toward proven, analogous search  interfaces, such as Amazon.com; to  introduce more full‐text data into our  catalogues; to put controlled vocabularies to  more effective use; to support user  participation features; and to make greater  use of data mining.