Microsoft Word - ES_Perryman.doc Evidence Based Library and Information Practice 2006, 1:3      84 Evidence Based Library and Information Practice       Evidence Summary    Differences Between Library Instruction Conference Attendees and their Institutional  Affiliations in the United States and Canada are Discernible    A review of:  Willingham, Patricia, Linda Carder, and Christopher Millson‐Martula. “Does a Border Make a  Difference? Library Instruction in the United States and Canada.” Journal of Academic  Librarianship 32.1 (Jan. 2006): 23‐34.    Reviewed by:  Carol Perryman  TRLN Doctoral Fellow, School of Information & Library Science  University of North Carolina at Chapel Hill  Chapel Hill, North Carolina, United States of America  E‐mail: cp1757@gmail.com    Received: 29 May 2006            Accepted: 03 July 2006      © 2006 Perryman. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – The primary intent of this study  was to identify differences among library  instruction conference attendees and their  institutions between the United States and  Canada. The overall hypothesis was that  there would be areas of measurable  distinction between the two countries. The  authors tested nine hypotheses: #1, that the  largest number of survey respondents  would be employed at large institutions; #2,  that statistically, the majority of well‐ developed instructional programs are found  at universities rather than colleges; #3, that  beginning programs are more often found at  four‐year institutions; #4, that program  development and technological issues  predominate among instructional foci in the  early twenty‐first century; #5, that more  experienced librarians are more likely to  attend library instruction conferences; #6,  that LOEX (originally an acronym for  Library Orientation Exchange) is perceived  as the most valuable conference in library  instruction; #7, that the impact of conference  attendance upon library program  development is only moderate; #8, that  conference theme and reputation are the  two greatest factors contributing to  attendance; and #9, that the majority of  conference attendees are from the United  States.    Design – Historical research, and an e‐ mailed survey.    http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:3      85 Setting – Libraries and library instruction  conferences in the United States and Canada.    Subjects – One hundred thirty‐two  librarians who were attendees at one of  three library user instruction conferences:  LOEX, LOEX of the West, and WILU  (Workshop on Instruction in Library Use).    Methods – First, a brief historical review  was conducted on the influence of social,  economic, and political events on the  development of library user instruction, the  creation of conferences focused on library  instruction in from the United States and  Canada, and national surveys looking at  institutional support for instructional  development. Next, a survey instrument  consisting of fifteen demographic and  attitudinal questions was sent via e‐mail to  all 508 attendees of major library instruction  conferences (LOEX and WILU for 2001, and  LOEX of the West for 2000) in the United  States and Canada. Responses from the 132  returned surveys were tabulated and used  to evaluate their linked hypotheses.    Main results – Of the nine initial hypotheses,  five were supported, and the remaining four  were either partially supported or rejected.  Supported hypotheses included: #1, that  most participants in the top library  instructional conferences came from  institutions with >5,000 student populations;  #2, that the majority of fully developed  instructional programs were in universities;  #5, that librarians with greater seniority  were more likely to attend instructional  conferences; #7, that conference attendance  has only a medium impact on program  development at participants’ home  institutions; and #9, that most conference  attendees come from the United States.  Partially supported hypotheses were: #4,  that factors most highly rated by  participants were program development  and technology, and #8, that conference  theme and reputation are ranked higher in  terms of influence in attendees’ decision to  participate in the conferences. Rejected  hypotheses included: #3, that “beginning  programs are typically found at four‐year  institutions,” #4, that “program  development and technology rank as the  two most important instruction‐related  issues” (note that hypothesis #4 is both  rejected and partially supported), and #6,  that “LOEX is considered the most valuable  conference.”    Conclusion – The authors confirmed their  overall hypothesis that significant  differences exist between the United States  and Canada regarding library instructional  programs. Although the two countries  developed at very different rates prior to the  1960s, technology and cross‐border sharing  has meant that they are now developing  along parallel paths. The authors suggest  several avenues for further study including  the need to consider attendees over a greater  time span, the differences in responses  between younger and more senior  participants, and questions about the real  differences between library instructional  programs in Canada and the United States.    Commentary    The inclusion of a thorough history of the  development of library instruction  programming in libraries in the U.S. and  Canada is a valuable addition to the  literature, and would have been  strengthened by publication as a standalone  article. As it exists, the links between the  historical overview and the research  components of this work do not appear  directly pertinent to the research questions.    An additional value of the work is  instructional, in that the authors openly  discuss problems with the data collection  instrument. Based on the critical appraisal  checklist created by Lindsay Glynn  (pending publication in Library HiTech), the  Evidence Based Library and Information Practice 2006, 1:3      86 study is invalid both in terms of the sections  of appraisal (population, data collection,  study design, and results), and overall.  Although the authors clearly define their  population, and the sample size is  sufficiently large for precise estimates, the  respondents are self‐selected, due to the  survey’s distribution by e‐mail. A major  concern is that with the low respondent rate  from Canada (28), analysis of the survey  questions is questionable, especially when  broken down into sub‐categories of  seniority and institution type.    The authors obtained names and contact  information from program attendance  records, and fail to mention whether they  had deduplicated the records, which means  that individuals attending more than one of  the conferences (reported as 25.1% of  respondents, or 33/132) may have falsely  inflated data for analysis. We are also not  informed of the country of origin of multiple  conference attendees. The overall hypothesis  of this study, which questions whether there  are measurable distinctions between the  library instruction of the United States and  Canada, is unclearly defined and ultimately  better addressed by the historical section of  the article than by the research section,  which focuses on conference attendance.    For the second area of appraisal, data  collection, critical analysis of the study  establishes that the methods are not well  described. Validity in this area would have  been greatly enhanced by the inclusion of  the survey instrument, though we recognize  that space constraints may have prevented  its publication. Participants attended  conferences from 2000 to 2001, but it is not  indicated when the survey was conducted.  Too lengthy a time from conference  attendance to the survey may have  introduced recall bias, an issue that is not  addressed. In addition, there was no attempt  to pilot the instrument, so that errors  present in the design were not discovered  until post‐administration analysis. The e‐ mailed survey questions were not provided,  so readers cannot discern bias, especially  when the results were summarized rather  than enumerated. For example, Tables 12‐15  in the study inexplicably contain only  rankings, and no numeric information.     The study design, a third area of appraisal,  is undermined by the lack of detail provided,  although the researchers’ choice of an e‐mail  survey sent to all conference participants is  appropriate for the research questions asked.  The reader would benefit from a discussion  of response coding, inter‐rater reliability  methods (if any), and term definition, such  as what determines the developmental level  of an educational program (a focus for  hypothesis #2). Further enhancement could  have been gained by discussion of whether  ethics approval had been sought.    One strong component of the study is the  results section. The authors carefully and  succinctly separate the results of each of the  nine hypotheses, and are frank in their  appraisal of the study’s weaknesses. Finally,  they provide thoughtful suggestions for  further research in this understudied area.  Even with the design errors, the results of  this study can somewhat benefit program  organizers for future conference planning,  and form the basis for further research  among the two populations.     Unfortunately, the results are not rigorously  considered in the summary and conclusions  section, where the researchers make several  unsupported statements. For example, the  conclusion is made that differences in  program maturity levels between the two  countries are significant (hypothesis #2),  even though the authors had previously  discussed instrument and study design  weaknesses that would render these same  conclusions questionable. Another example  is the inference for hypothesis #5 that  librarians with more seniority were more  Evidence Based Library and Information Practice 2006, 1:3      87 likely to attend conferences due to their  seniority and greater access to funds – the  first part was established, but not the cause.  Ultimately, the study’s primary question of  whether the ‘border makes a difference’ is  unanswered. Future research in this area  would benefit from a more narrowly  defined set of hypotheses, a pilot study, and  a larger population sample size.