Microsoft Word - ES_Kelson.doc Evidence Based Library and Information Practice 2007, 2:3  91 Evidence Based Library and Information Practice       Evidence Summary    UpToDate Rated Highest in a Combined Task Assessment/User‐satisfaction Study of  Five Clinical Information Resources     A review of:  Campbell, Rose, and Joan Ash. “An Evaluation of Five Bedside Information Products Using a  User‐centered, Task‐orientated Approach.” Journal of the Medical Library Association  94.4 (Oct. 2006): 435‐41.    Reviewed by:   Jennie Kelson  Library Services Manager, Buckinghamshire Hospitals NHS Trust  Amersham, United Kingdom    E‐mail: jennie.kelson@buckshosp.nhs.uk        Received: 01 June 2007    Accepted: 08 July 2007      © 2007 Kelson. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To compare users’ perceptions  of 5 clinical information resources, and to  assess the average number of questions  answered after attempting 3 randomly  assigned clinical questions on each resource.    Design – A combined task assessment,  based on the design specification published  in the Sixth Text REtrieval Conference  (TREC‐6) “interactive track,” and a user‐ satisfaction questionnaire developed from  previously published surveys.     Setting – A health sciences library at a  university in the United States of America.    Subjects – A convenience sample of 18   volunteers, who were either university   health care staff or students.     Methods – A set of 15 clinical test questions  was developed from previous studies.  Participants were randomly allocated 3 test  questions, which they then attempted to  answer using each of 5 commercially  available clinical information resources.  Each participant was allocated a different set  of test questions for each resource and did  not attempt the same question on more than  one resource. As part of the overall study  design, the questions were randomised such  that each question was paired with each  resource at least once. The order in which  the resources were tested by participants  was also randomised. The resources tested  were ACP’s PIER, DISEASEDEX,  FIRSTConsult, InfoRetriever and UpToDate.  Training in use of the resources was not  mailto:kelson@buckshosp.nhs.uk http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:3  92 provided as part of the study; however,  participants were allowed to familiarise  themselves with each resource before  attempting the test questions. To simulate a  clinical situation, participants were asked to  spend a maximum of 3 minutes on each  question. The number of questions  successfully answered using each resource  was recorded. Participants were also asked  to complete a user satisfaction questionnaire,  based on previously published  questionnaires, for each resource after  attempting the 3 questions allocated to that  resource. The questionnaire used a 5‐point  Likert scale with participants asked to rate  attributes such as clarity, ease of use, speed  and accuracy of content. A final question  also asked participants to indicate which  resource they liked the best and which they  liked the least. Participants also completed a  background questionnaire, again based on  previously published questionnaires,  covering aspects such as age, gender,  experience with searching and previous use  of various information resources, including  the 5 resources being tested.    Main results –    Characteristics of participants – Participants  ranged in age from 28 to 49 years (mean 35  years), and were experienced computer  users with over 94% using a computer at  least once a day. The male (42%) and female  (58%) split of the group was roughly equal.  The participants’ occupations were  physician (44%), medical informatics  student with previous clinical experience  (28%), pharmacist (17%), nurse (6%) and  MRI technologist (6%). Participants had  been in their current profession for a mean  of 8 years (range 1 to 20 years). Whilst 72%  of participants reported familiarity with  UpToDate, no more than 12% of participants  reported familiarity with any one of the  other information resources tested.      Clinical questions ‐ Participants were able to  answer more questions with UpToDate  (average 2.5 questions) compared to the  other resources, which ranged from an  average of 1.6 (ACP’s PIER) to 1.9  (DISEASEDEX) questions answered. This  difference was found to be statistically  significant using the Friedman test.      User satisfaction ‐ The user satisfaction  survey results showed no significant  differences in perceptions of the different  resources in relation to accuracy, currency of  content, speed or amount of information  provided. However, UpToDate scored  significantly higher (Friedman test) on ease  of use, clarity of screen layout and how well  it satisfiedparticipants’ needs.     Overall, 13 participants (73%) rated  UpToDate the best, 3 (18%) preferred  FIRSTConsult and 1 (6%) rated ACP’s PIER  best. Conversely, InfoRetriever was rated  worst by 6 participants (38%), 4 participants  (25%) each rated DISEASEDEX and  FIRSTConsult worst and 2 participants (13%)  rated ACP’s PIER worst. A chi‐squared  analysis found these rankings to be  significantly different.    Conclusion – A number of commercial  information resources are now available that  aim to help clinical staff make treatment  decisions at the point of care. This study  evaluates 5 such resources by comparing  both success in answering typical clinical  questions and the results of a user  satisfaction survey.      The study indicates that participants were  able to find significantly more answers  when using UpToDate compared to the other  resources tested. Whilst there was no  statistically significant difference between  the user perception ratings assigned to each  resource with regard to speed, accuracy or  amount of information provided, participant  ratings for screen layout and ease of use  significantly favoured UpToDate. In addition,  Evidence Based Library and Information Practice 2007, 2:3  93 significantly more participants identified  UpToDate as the best resource.    Evaluations of clinical information resources  have traditionally focused on user ratings of  the content of these products. The findings  of this study suggest that this approach may  no longer be sufficient, and that evaluations  that address the user’s experience  (satisfaction concerning ease of use, speed,  etc.) are also needed.     Commentary     The methodology used in this study is  clearly explained, and each stage of the  research uses, or is based on, previously  published techniques. The test clinical  questions and the questionnaires used in the  study provide a validated method that can  be used by others to evaluate similar  information resources.     A shortcoming of the study, which the  researchers have recognised, is the small  number of participants overall and the use  of a convenience sample of interested users.  As the participant group contained a  proportionally larger number of physicians,  it is possible that the overall results obtained  from this group may not be representative  of the wider potential user population. It  would be interesting to see whether similar  results were obtained if the study was  repeated with a larger group, incorporating  more variation in the clinical occupations  represented. The background questionnaire  also did not ask about the participant’s  race/ethnicity or level of education, and  these might be interesting characteristics to  capture in future studies.     Participants were asked to complete the  tests in their own workplace and in their  own time; however, it is not clear whether  the authors had any checks in place to  ensure that participants adhered to the 3  minute limit per question or that the test  environments were comparable. Whilst the  authors suggest that conducting the study  outside a laboratory setting enabled a higher  recruitment level, they also propose that  asking participants to complete the tests in  their own time may have accounted for the  high dropout rate (25%). Conducting the  tests under standard laboratory conditions  or having a member of the research team  observe participants using the information  resources may have improved the reliability  of the results obtained.    The study results demonstrated that  participants were able to answer  significantly more questions using UpToDate,  and that this resource was rated more highly  in the user satisfaction survey. Caution is  advised with respect to this conclusion,  since 72% of participants were already  familiar with UpToDate whilst very few had  previously used any of the other resources  being assessed. Prior experience may have  biased participants in favour of UpToDate.  Unfortunately, the small number of  participants in this study who were  unfamiliar with UpToDate precluded any  analysis of the results on the basis of  previous experience with the resources  tested.      Overall, this is a valuable study indicating  that, of the 5 information resources assessed,  participants preferred UpToDate and were  significantly more successful at answering  test clinical questions it. Repeating the study  with a larger, more diverse clinical group  under more tightly controlled conditions  would improve confidence in the validity  and applicability of the current findings.