Microsoft Word - ES_Haigh.doc Evidence Based Library and Information Practice 2007, 2:2  110 Evidence Based Library and Information Practice       Evidence Summary    Comparing the Use of Books with Enhanced Records versus Those Without  Enhancements: Methodology Leads to Questionable Conclusions    A review of:  Madarash‐Hill, Cherie and J.B. Hill. “Electronically Enriched Enhancements in Catalog Records:  A Use Study of Books Described on Records With URL Enhancements Versus Those  Without.” Technical Services Quarterly 23.2 (2005): 19‐31.     Reviewed by:   Susan Haigh   Senior Policy Officer, Library and Archives Canada  Ottawa, Ontario, Canada  E‐mail: susan.haigh@lac‐bac.gc.ca      Received: 23 February 2007  Accepted: 12 April 2007      © 2007 Haigh. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To compare the use of books  described by catalogue records that are  enhanced with URL links to such  information as dust jackets, tables of  contents, sample text, and publishers’  descriptions, with the use of books  described by records that are not enhanced  with such links.      Design – Use study.    Setting – Academic library (Southeastern  Louisiana University, Sims Memorial  Library).    Subjects – 180 records with enhancements  and 180 records (different titles) without  enhancements.      Methods – The study identified the sample  of unenhanced records by conducting  searches of the broad subject terms  “History”, “United States”, “Education”,  and “Social” and limiting the searches to  books. The enhanced sample was derived in  the same manner, but with additional search  limiters to identify only those records that  had URL enhancements.  An equal sample  of enhanced and unenhanced records (50 or  30 of each) was tracked for each of four  search terms. Only records for books that  could be checked out were included, as use  statistics were based on whether or not a  book was borrowed.  While half of the  enhanced records had full‐text elements  (such as descriptions) that were indexed and  thus searchable, the rate of use for these  records was not tracked separately from the  mailto:haigh@lac%E2%80%90bac.gc.ca http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:2  111 enhanced records that only had URL  enhancements.    Main results – Books described on records  with URL enhancements for publisher  descriptions, tables of contents, book  reviews, or sample text had higher use than  those without URL enhancements. Only 7%  of titles with URLs, compared with 21% of  those without, had not been borrowed.   74.67% of titles with URLs had been checked  out one or two times, compared with 69.5%  of those without URLs. The number of titles  with enhanced records that had 3 or more  checkouts was almost double the rate of  unenhanced titles (18% to 9.5%).       Conclusion – The authors conclude that  catalogue records that have electronic links  to book reviews, cover jackets, tables of  contents, or publisher descriptions can lead  to higher use of books, particularly if textual  enhancements such as descriptions are also  searchable.     Commentary      The topic of this study is of considerable  interest to librarianship as the profession  reconsiders, reworks, and repositions the  library catalogue in the context of Amazon  and Google.     Yet, while the findings of this study seem  intuitively valid, they should be accepted  with extreme caution. If all catalogue  records were enhanced, would the overall  volume of loans increase? The evidence is  not clear.     The authors acknowledge three limitations  of the study:     The sample sizes are small owing to  the relatively small numbers of  enhanced records, and the need to  keep the samples of enhanced  versus unenhanced records equal.   Some of the works included in the  sample were on ‘hot topics’ and  therefore might have attracted high  use whether or not they were  enhanced. (The example given was  of a book, John Kerry, with an  enhanced record. It is not clear from  the write‐up whether this  uncontrolled variable was thought  to apply equally to both enhanced  and unenhanced records).     In‐house use was not included in  the assessment of use.  (For some  reason, the authors seem to suggest  that this may have resulted in an  undercounting of only the  electronically enhanced sample.)     However, there may be other limitations, as  the control of variables is difficult with this  study methodology.     Record enhancements may have  been disproportionately added to  the ‘best books’ records (whether  ‘best’ be defined as most recent,  most topical, best book jacket, most  authoritative author, best title, or  whatever).      It is possible that users choose  enhanced records over unenhanced  records. But given the methodology,  their choices of records are not  known – only their choices of books  to borrow are documented. The user  may have decided which titles to  borrow at the shelf based on  qualitative assessment of the books  in hand rather than deciding from  their records.     It is possible that the order of  records in the users’ search results  would influence their choice of  records to examine (a likely  precursor to borrowing the books).  Evidence Based Library and Information Practice 2007, 2:2  112 This would be especially true for the  broad subject searches that were  part of the study methodology, as  the user would end up with large  search results. Records appearing  on the first screen, likely the first 10‐ 20 titles, could be by their placement  the most likely to be borrowed. We  do not know whether enhanced  records were likely to predominate  on these screens, or not.     The same variable, the order of  search results, would likely be  affected if the tables of contents and  summaries in enhanced records  were full‐text indexed. Exactly half  of the enhanced MARC records (90  of 180) had textual enhancements in  the 505 (Formatted Table of  Contents) or 520 (Summary) fields,  which were full‐text indexed and  therefore searchable. This is  described in a curiously  inconclusive manner in one section  of the article. The authors do not  address the possibility that all, or a  disproportionate amount, of the  increase in use was on the books for  which their records had indexed  enhancements.     It is not clear whether from a results  screen the user would have been  able to identify enhanced records  and might therefore be attracted to  examine those first, possibly  influencing the likelihood that those  books would be borrowed.    A more valid methodology would have  been to study the usage based on a sample  of unenhanced records for a period of time,  then add enhancements to those records and  measure the usage on the same set of books  for a subsequent equal period of time.  (Of  course, this may have not been operationally  feasible, and such a methodology would not  control the variable of the order of search  results and could introduce new variables  such as the diminishing likelihood of a book  being used over time.)      A different methodology could also have  tracked whether textual enhancements such  as tables of contents were being full‐text  indexed, and if so whether that affected  those records’ rankings in search results,  and as a direct consequence further  influenced the comparative rate at which  usage increased.     The statistical analysis of the findings also  falls short. The statistical significance of the  differences in loan rates between books with  enhanced versus unenhanced records  should have been measured and reported,  both for the samples presented in the tables  and for the entire records sample.