Microsoft Word - ES_Kloda.doc Evidence Based Library and Information Practice 2006, 1:3      63 Evidence Based Library and Information Practice       Evidence Summary    Despite Barriers, Education Providers, Health Professionals, and Students Perceive E‐ Learning to Be an Effective Method of Education   A review of:  Childs, Sue, Elizabeth Blenkinsopp, Amanda Hall, and Graham Walton. “Effective E‐Learning for  Health Professionals and Students—Barriers and Their Solutions. A Systematic Review of  the Literature—Findings from the HeXL Project.” Health Information & Libraries Journal  22.S2 (2005): 20‐32.    Reviewed by:  Lorie A. Kloda  Instructional Technology Librarian, Life Sciences Library, McGill University  Montreal, Quebec, Canada  E‐mail: lorie.kloda@mcgill.ca    Received: 01 June 2006            Accepted: 19 July 2006      © 2006 Kloda. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To determine barriers or  problems and possible solutions related to e‐ learning, and to determine the effectiveness  of e‐learning among health professionals  and students.    Design – Systematic review of qualitative  literature, in addition to interviews and  questionnaires, to allow for triangulation of  the data.    Setting – “The HeXL Project: Surmounting  the Barriers to NHS E‐Learning in the  North‐East.” The National Health Service  (NHS) in the North‐East of England, from  May 2003 to March 2004.  Subjects – A systematic review of 57  qualitative studies on health and e‐learning,  phone interviews with 13 managers and  trainers, and 149 questionnaires completed  by users and non‐users of e‐learning. All  participants of the interviews and  questionnaires were staff and students of  the NHS in the North‐East of England.    Methods – The study used three methods to  collect data to meet the objectives of the  study.  For the systematic review, the  databases AMED (Allied and Alternative  Medicine), ASSIA (Applied Social Sciences),  CINAHL (Nursing and Allied Health), ERIC  (Education), HMIC (health Management),  LISA (Library and Information Sciences),  PubMed (Medline), and Web of Science  were searched using the terms “e‐learning”  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:3      64 or “computer assisted instruction”, and  “health”, and “barriers.” Any type of  research or comprehensive literature review  was selected from the results to be included  in analysis. Based on the findings from the  systematic review, a semi‐structured  interview schedule was developed for use in  phone interviews to be conducted with  managers or e‐learning trainers.  Also based  on the systematic review, questionnaires  were developed and distributed to users  and non‐users of e‐learning. The three  methods permitted triangulation of the data.    Main results – The search produced 161  results of which 57 met the methodological  criteria. The 57 studies categorized e‐ learning barriers and solutions into eight  different issues: organizational, economics,  hardware, software, support, pedagogical,  psychological, and skills. Results from the  interviews and questionnaires mirrored  those of the systematic review.  Barriers to e‐ learning included managing change, lack of  skills, costs, absence of face‐to‐face learning,  and time commitment. Solutions to the  barriers of e‐learning included blended  learning, better design, skills training,  removal of costs, and improved access to  technology. There were, however, some  discrepancies between the results from the  systematic review and the interviews and  questionnaires: barriers due to “lack of  access to technology” (29) were not  perceived as serious, suggested solutions  did not include better communication and  scheduling, and the solutions to provide  trainer incentives and employment  admission criteria were rejected. Users and  potential users of e‐learning mentioned one  solution not found in the review: protected  time during work to partake in e‐learning.   Results from the interviews and  questionnaires demonstrated that managers,  trainers, and learners thought e‐learning to  be effective.    Conclusion – The researchers answered the  study’s questions to determine the  perceived barriers and solutions to e‐ learning for the NHS in the North‐East of  England. Despite the barriers identified, it  was also determined from the interviews  conducted and questionnaires returned that  managers, trainers, and learners perceive e‐ learning as an effective method of education  for health professionals and students.  Further research is needed to determine  whether this perception is correct. The  systematic review of the literature identified  important “factors which need to be in  place” for e‐learning to effectively take place  (29). The barriers and potential solutions  identified are useful for those designing e‐ learning programs in any professional  context. The results point to several  requirements for e‐learning success: national  standards and strategies; curriculum  integration; change management; flexible  programming; skills training; and support  and access to technology for managers,  learners, and trainers. The authors of the  article believe that librarians play an  important role in e‐learning and identify  several areas in which librarians can  contribute.    Commentary    This study employs a systematic review of  the literature as one of its methodologies—a  method that is considered rigorous when  conducted properly.  This type of design  includes systematic searching of the  literature, appraisal of the research, and  synthesis of the results. The researchers in  this study searched a broad number of  health and education databases to collect  relevant literature on the topic, however the  search strategy (“e‐learning” or “computer  assisted instruction,” and “health,” and  “barriers”) is rather simplistic and excludes  many potential near‐synonyms.  It is unclear  to what extent these terms were elaborated  upon for the various databases. It is  Evidence Based Library and Information Practice 2006, 1:3      65 therefore possible that studies and  significant articles may not have been  retrieved as a result. The researchers do not  make mention of any type of critical  appraisal of any of the 57 studies included  in the review. Booth argues that “true”  critical appraisal normally required for  systematic reviews of quantitative research  is not required in synthesizing qualitative  literature (2001). The researchers of the  current study, however, do not address the  quality of the studies included in their  review, which would have allowed the  reader to weigh the importance of the  results and identify potential biases. The  resulting synthesis of results, while  inclusive, may subsequently be distorted or  exaggerated.      Systematic reviews are traditionally  conducted using experimental studies or at  the very least quantitative studies, yet  qualitative evidence can and should be  included to answer certain types of  questions. Qualitative research design  provides rich data to support and inform  current practice. Currently, there are no  validated tools for assisting in the appraisal  of qualitative research, although efforts are  underway, such as those of the Campbell  Collaboration and Dixon‐Woods. The  questions in this study were best answered  by qualitative data, and the researchers  made an admirable attempt to conduct a  systematic review of the qualitative  literature.  The addition of other qualitative  data gathering techniques to allow for  triangulation of the data supports the  conclusions drawn from the review and  proposes areas for further investigation.    The secondary objective of the study—to  determine the effectiveness of e‐learning— was not addressed by the systematic review,  but by using the two other data collection  techniques. The instruments used in the  semi‐structured phone interviews to e‐ learning managers and trainers, and in the  questionnaires distributed to users and non‐ users of e‐learning, were well described and  were logically based on results from the  systematic review.  It is not known how  many individuals received questionnaires;  so it is therefore impossible to know if  enough questionnaires were returned to  ensure representative results. The fact that  the researchers fail to report the number of  distributed questionnaires, the elaborated  search strategy, and the critical appraisal  criteria could jeopardize the validity of the  results. Based on the data provided, it is  impossible to know if the results are  representative of the population of NHS  members in the North‐East of England, or of  other similar environments where health  professionals are engaged in large‐scale, on‐ line training and continuing education  initiatives.     As the authors report, the results of this  study, while not specific to librarianship, are  important for librarians and information  professionals working in different contexts:  those supporting e‐learning (or distance  education), those involved in the planning  and design of e‐learning, and those  participating in e‐learning as students.  Most  importantly, as the authors point out,  librarians can assist with the skills training  required by trainers and learners to use the  hardware and software required. Librarians  may also wish to incorporate information  literacy learning objects within e‐learning  tools.  Academic and special librarians may  want to ensure links to information  resources are present within e‐learning  modules.  The authors correctly assert that it  is important for librarians to become  involved in e‐learning initiatives and that  they make their roles in such endeavours  evident.            Evidence Based Library and Information Practice 2006, 1:3      66 Works Cited    Booth, Andrew. “Cochrane or Cock‐Eyed?  How Should We Conduct Systematic  Reviews of the Qualitative Research?”  Qualitative Evidence‐Based Practice  Conference: Taking a Critical Stance. 2001.  University of Leeds. 3 August 2006.  .    The Campbell Collaboration. The Campbell  Collaboration(C2).  3 August 2006.  .    Dixon‐Woods, Mary, et al. “How Can  Systematic Reviews Incorporate  Qualitative Research? A Critical  Perspective.” Qualitative Research 6.1  (2006): 27‐44.    http://brs.leeds.ac.uk/~beiwww/BEIA/ http://www.campbellcollaboration.or