Microsoft Word - ART_Cotter.doc Evidence Based Library and Information Practice 2006, 1:1      3 Evidence Based Library and Information Practice       Article    Adding SPICE to a Library Intranet Site: A Recipe to Enhance Usability      Lisa Cotter  School Librarian, Nursing and Midwifery  The University of Newcastle and Northern Sydney Central Coast Health   Gosford, NSW, Australia  E‐mail: lisa.cotter@newcastle.edu.au    Larnich Harije  Technical Services Librarian, Central Coast Health Service Library,   Northern Sydney Central Coast Health   Gosford, NSW, Australia  E‐mail: lharije@nsccahs.health.nsw.gov.au    Suzanne Lewis  Manager, Central Coast Health Service Library  Northern Sydney Central Coast Health   Gosford, NSW, Australia  E‐mail: slewis@nsccahs.health.nsw.gov.au    Ingrid Tonnison  Client Services Librarian, Central Coast Health Service Library,   Northern Sydney Central Coast Health   Gosford, NSW, Australia  E‐mail: itonnison@nsccahs.health.nsw.gov.au      Received: 9 December 2005    Accepted: 6 March 2006      © 2006 Cotter, Harije, Lewis and Tonnison. This is an Open Access article distributed under the terms of  the Creative Commons Attribution License (http://creativecommons.org/licenses/by/2.0), which permits  unrestricted use, distribution, and reproduction in any medium, provided the original work is properly  cited.      Abstract    Objective ‐ To produce a highly‐usable intranet site, use the project to explore the  practical application of evidence‐based librarianship (EBL), and refine the library’s  project management methodology.   Methods ‐ Evidence was gathered via a literature review, an online survey, scenario‐ based usability testing, and completion of a usability checklist. Usability issues were  then addressed, guided by the Research‐Based Web Design and Usability Guidelines.    http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:1      4  Results ‐ After a preliminary revision, the site achieved a usability index of 79% after  application of the “Raward Library Usability Analysis Tool”. Finding the information  and supporting user tasks were identified as areas of weakness. Usability testing and  client feedback supported these findings. After these issues were addressed by a major  site redevelopment, the usability index increased to 98%.    Conclusions ‐ Raward’s checklist is an easy and effective tool for measuring and  identifying usability issues. Its value was enhanced by scenario‐based usability testing,  which yielded rich, client‐specific information. The application of EBL and project  management principles enhanced the outcomes of the project, and the professional  development of the project team.      Objective     The Central Coast Health Service (CCHS)  Library in New South Wales, Australia,  provides information services to meet the  clinical, research and learning needs of the  Central Coast sector (803 beds) of  Northern Sydney Central Coast Health  (NSCCH). The primary client groups  include the CCHS staff (3665 FTE) and  health students based at CCHS. The main  site, Gosford Hospital, is a teaching  hospital of The University of Newcastle,  Australia. This partnership in health  education and training has been  particularly successful in the area of  library services, with a strong, mutually  beneficial relationship maintained  between the CCHS Library and The  University of Newcastle Library.    In May 2003, librarians from the CCHS  Library were introduced to the evidence  based librarianship (EBL) framework via a  course offered through the National  electronic Library for Health (NeLH)  (Booth ʺBriefingʺ). Following an exercise  which asked participants to identify an  aspect of current service provision that  was based on poor evidence, the CCHS  librarians acknowledged that the Library’s  intranet site was a service based on very  poor evidence, and had outgrown its  original structure and purpose. The  following year, a project team was  established to thoroughly revise both the  architecture and content of the site, with a  focus on improving usability. Members of  the team included the Client Services  Librarian, Technical Services Librarian,  University Liaison Librarian, and the  Library Manager.  The objectives of the project were to  produce a highly usable library intranet  site; to undertake the project as an  opportunity to explore the practice of EBL;  and to use the project as a means of  refining the library’s newly‐adopted  project management methodology.  Accordingly, the problem – a user‐ unfriendly intranet site – was reframed in  terms of the following research question:     “How can the usability of the CCHS Library’s  intranet site be improved to enhance the siteʹs  effectiveness as a gateway to the Library’s  services and resources, for the staff and  students of the organisation?”    The primary objective – to produce a  highly usable intranet site – had to be  achieved within the framework of an  existing organisational template which  restricted the modification of many design  elements. Organisational culture was  another issue as Central Coast Health was  in the process of merging with a  neighbouring health service. At the time of  this writing, a combined, area‐wide  intranet is being developed. This project  also provided an ideal opportunity to  achieve the secondary objectives of  exploring the practice of EBL, and refining  the library’s project management  methodology. The team envisaged  synergies between EBL and project  management and planned to explore this  idea as a potential tool for bridging the  theory‐practice gap. Evidence Based Library and Information Practice 2006, 1:1      5 Method    The library’s project methodology, based on  the Project Management Body of Knowledge  (A Guide), was used to plan the  redevelopment of the library’s intranet site.  The methodology was enhanced by  incorporating the principles of evidence based  librarianship. To effectively assimilate the EBL  process into the project plan, a series of  workshops were scheduled to develop the  team’s understanding of the theory, and to  explore its potential for integration into  practice. The program included six journal  club sessions structured around the EBL  process, and used the library’s current projects  (Carter and Grimmond; Cotter et al.) as case  studies throughout the series. Project team  members were responsible for preparing and  presenting one session each. An introductory  overview session was followed by five  workshops examining each stage of the EBL  process in turn.    After a research question was framed,  librarian‐observed, user‐reported, and  research‐derived evidence was gathered and  appraised (Booth ʺExceedingʺ). Findings were  applied to the project in varying degrees –  directly, by derivation, conditionally, or just by  providing enlightenment (Booth ʺWhatʺ).  Finally, the project outcomes were evaluated  and disseminated. Like the phases of a project  plan, the main processes of EBL are not  necessarily independent and consecutive  activities. They are inter‐related,  interdependent, and can occur concurrently.    The main phases of the project were to:  • Undertake a preliminary revision of  the site to eliminate incorrect, obsolete,  unnecessary, and poorly presented  pages. This provided a suitable  starting point from which further  evidence‐based improvements could  be made.   • Locate, retrieve, and examine the  evidence to identify required  modifications. The evidence was taken  from the literature, usability testing,  and feedback from library staff and  clients.   • Implement the recommended changes,  and publish the redeveloped and now  highly‐usable intranet site.   • Define guidelines for the ongoing  maintenance and development of the  site.  • Evaluate the new intranet site and the  project team’s utilisation of EBL.  • Disseminate the results via a launch of  the new site, presentation of a hot  topic at the 3rd International Evidence  Based Librarianship Conference, and  publication of the project report   Refining the Question    The SPICE anatomy (Booth ʺFormulatingʺ 65‐ 66) was used to focus the direction of the  project and refine the research question (Table  1):      S  Setting  CCHS Library intranet site  P  Perspective  Staff and students of the organisation  Gateway to our services & resources    I  Intervention  Site improvements  C  Comparison  Original site  E  Evaluation  Usability (as a determiner of effectiveness)  Table 1. SPICE breakdown  Evidence Based Library and Information Practice 2006, 1:1      6 Asking a clear and answerable question at the  start of the project was vital to its successful  completion. One well‐formulated question had  been developed to focus the project’s scope,  but additional questions were needed,  particularly at the literature review stage. The  literature review became problematic because  the project team attempted to use one search  strategy to answer several different questions  such as “What makes a good intranet site?”  and “How do you conduct usability testing?”    Literature Review    Preliminary searching revealed a large amount  of literature on design and evaluation of  Internet/intranet sites. Initially, the research  question used the terms usability and  effectiveness interchangeably. The review  clarified the distinctions between these two  terms and related terms such as usefulness. This  awareness led to the original question being  focussed to specify usability as the evaluation  measure, thereby limiting the number of  potential evaluation tools that would require  examination.    A search strategy was designed, with inclusion  and exclusion criteria. Databases covering the  literature of library & information science  (LISA, ALISA, Library Literature, APAIS/APAFT,  Emerald Library), health (MEDLINE, CINAHL,  EMBASE, AustHealth), and technology (Gartner  Core Research, IEEEXplore) were selected.  Several multidisciplinary databases (Proquest  5000, Expanded Academic Index, Megafile Premier,  Blackwell Synergy, ScienceDirect) were also used.  The Internet was also searched. The project  team considered it an appropriate source since  many organisations publish their usability  studies on their websites (Campbell et al.;  Clairmont, Dickstein and Mills; MIT Libraries).  A few core texts provided background  information (Krug; Norlin). Responsibility for  searching was divided among the project team.  One team member aggregated the individual  summaries into a documented literature  review allowing the team’s individual efforts  to be considered as a whole.    The main themes to emerge from the literature  review were: distinctions between usefulness,  effectiveness, and usability; usability testing in  practice; and web design guidelines.     Various definitions of usability were identified,  the most useful version provided by the  International Organization for Standardization  (ISO 13407): “The usability of an interface is a  measure of the effectiveness, efficiency and  satisfaction with which specified users can  achieve specified goals in a particular  environment with that interface”. The project  plan acknowledges that usability is only one  indicator of the overall effectiveness of an  intranet site, and that other components, such  as accessibility and the extent to which clients  needs are being met, also contribute to  effectiveness. Such factors, however, are  beyond the scope of this project.    Usability testing “does not tell you who is  actually using your web‐based services,  whether their needs are being met, or whether  you are reaching your target clientele” (Pearce  20).This is directly applicable to the present  study, as the project team were only testing the  existing content of the site, not resources or  services that potentially could be included.  Also, the research participants were all users  of the organisation’s intranet site at the time of  their participation, so the project was not  reaching non‐users, or potential users, nor  identifying barriers to use.    The literature search yielded a large number of  resources describing practical approaches to  usability testing. MIT Libraries’ Web Site  Usability Test, and an entire issue of Library  Technology Reports on usability testing (Pace)  were particularly helpful. They provided  practical guidance in carrying out usability  testing under real‐life conditions and included  examples of test protocols, sample questions,  and data recording sheets. Steve Krug’s book  Don’t Make Me Think! was useful in providing  details on how to administer the usability  sessions, including a sample script for the  testers to use, room setup, and how to interact  with the subjects of the study.    Evidence Based Library and Information Practice 2006, 1:1      7 As well as such case reports, numerous  guidelines and lists of recommendations were  uncovered, with varying strengths of evidence  and degrees of applicability. Much of the  literature deals with commercial websites, but  libraries and intranet sites may have a  different focus (Pace 35). Critical appraisal  resulted in two instruments being selected for  use in this project. They were Research‐Based  Web Design and Usability Guidelines (Koyani,  Bailey and Nall) which includes 187  recommendations underpinned by research,  with each carrying a strength of evidence, and  a relative importance score; and the “Raward  Library Usability Analysis Tool” (Raward,  ʺStudyʺ 226‐30), which is a best practice  checklist for the design of library websites  intended to be a cost‐effective way to conduct,  user‐centred studies without user involvement  (Raward, ʺReportʺ).     Results of the literature review were appraised  for validity, reliability, and applicability; yet,  the team concede that “intrinsic factors that  relate to research design and aspects of  methodology” (Booth and Brice 105) were only  appraised superficially. Use of appraisal tools,  such as the CriSTAL checklists (Booth,  ʺCriSTALʺ), would have allowed critical  assessment of the intrinsic factors.    Client Feedback    An e‐mail sent organisation‐wide, together  with a link prominently displayed on the  library’s intranet home page, invited feedback  and suggestions via a simple online survey.  The objective of the survey was to establish the  use which was actually being made of the  intranet site, and to reveal the client  perspective of the functions the site should be  performing. The survey asked:    • Is the library intranet site easy to use?  • What are your main reasons for using  the library site?  • What would you like to use the library  site for?  • Would you use links to selected  Internet sites for your speciality?    The intent of the survey was to ensure the  project goals and client needs were aligned in  order to avoid the pitfall of “broccoli  librarianship” – librarians imposing on clients  what they should do because that is what is  good for them (Vaughn and Callicott). In  conjunction with observations made by library  staff, results of the survey were used to  compile a list of the major functions the library  intranet site was expected to perform. A  further function of the survey was to enlist  volunteers to take part in the scenario‐based  usability testing of the site.     Qualitative data which represented client  feelings about the usability of the site was  elicited via questions posed during a post‐test  discussion (see Appendix A). Capturing  participant views immediately after they used  the site to perform scenario‐based tasks  enhanced the quality of the responses. The  post‐test discussion was used in lieu of focus  groups as the project team was unable to  recruit volunteers from busy clinical areas for  focus groups.    Client feedback from the online survey and  post‐test discussions was appraised for  validity and contextual relevance.    Usability Testing    Usability testing was undertaken in two forms.  The Raward usability checklist was applied to  the intranet site by individual members of the  project team to identify how the site fell short  of recognised best practice for usability.  Library clients performed scenario‐based tasks  while under observation to provide a usability  assessment based on specific, local needs and  use of the site.     Checklist analysis  The “Raward Library Usability Analysis Tool”  (Raward, ʺStudyʺ 226‐30) was applied to the  library’s intranet site before and after a  preliminary revision of the site based only on  the project team’s professional judgement. The  Raward checklist was next applied to the site  after its major redesign at the end of 2005 (the  current site), with the intention of applying it  Evidence Based Library and Information Practice 2006, 1:1      8 at each major revision of the site. This tool, a  103 question checklist, is the result of an  Australian librarian’s research project which  examined the usability of library websites.  Although the tool was developed specifically  for academic library websites, it was deemed  applicable for this project on the basis that it  was designed for non‐commercial, service‐ oriented organisations. Each time the tool was  used, at least two independent evaluators  applied it to the intranet site and results were  compared.    Scenario‐ Based Tasks  Scenario‐based usability testing of the library’s  intranet site was based upon the fourteen main  functions of the site derived from the survey.     In response to a challenge made to librarians  who conduct usability testing to consider the  role of a library’s website in relation to the  library itself (Vaughn and Callicott 16), the  project team determined that the library’s  intranet site assumed both the roles of a  substitution for and an extension of the  physical library. Vaughn & Callicott argue that,  if the site is regarded as a substitute for the  library, then the usability test instrument  should not contain any hints for the users, for  example, a simple statement such as  “Databases allow you to search for articles on  various topics”. Without such hints, the  usability test will test ease of use. If the site is  seen as an extension of the library, then  minimal instructional statements should be  included in the test instrument and the focus  of the test will change to usefulness. In both  cases, the tasks posed must be sure to test the  usability of the site, and not the information  literacy skill of the participant.    The substitution/extension approach becomes  problematic when the site has to fill both roles.  The CCHS Library is part of a 24/7  organisation. When the library is open, the  intranet site functions as an extension of the  library, but when the library is closed, some  parts of the organisation (inpatient wards,  Emergency Department) continue to function  and rely on the intranet site as a substitute for  the library. Throughout the testing process,  this was one issue which was not satisfactorily  resolved. However, formation of the scenario‐ based tasks ‐ meant to reflect real‐life use of  the site ‐ tended towards testing ease of use.  The scenarios posed in this usability study are  included as Appendix B.    Clients who completed the online survey and  indicated on the survey form their willingness  to participate in the scenario‐based testing  sessions were contacted to organise session  times. Renowned usability expert Jakob  Nielsen states that “the best results come from  testing no more than 5 users and running as  many small tests as you can afford” (Nielsen).  According to Nielsen, a usability study with  five subjects will identify 85% of a site’s  usability problems. More users would be  required if highly distinctive user groups are  being represented, in which case, three to four  from each group should be selected. On this  recommendation, the project team, which  plans to undertake a round of usability testing  at each stage of the intranet redevelopment,  will conduct in each round two tests of seven  scenarios with participants representing the  intranet’s major client groups ‐ hospital staff  (clinical and administrative) and university  students. Each volunteer will only be eligible  to participate in one round of testing, but the  participant profile at each round will be  consistent.     At the time of this writing, the first round of  testing has been completed. Eight hospital staff  members, representing the clinical and  administrative client groups, participated.  Students were excluded from the first round of  usability testing on the basis that the site was  not yet a seamless interface for the two distinct  client groups. Testing seamlessness at this  early stage of the project would not have  yielded useful results. The first round of  revisions addressed this problem and so the  next round of usability testing will examine  the impact of these changes by including  students in the participant cohort.    The scenario‐based usability test sessions were  run by two members of the project team: one  as administrator, and one as recorder. The  Evidence Based Library and Information Practice 2006, 1:1      9 administrator welcomed the volunteer,  administered the participant profile  questionnaire, conducted the scenarios, and  facilitated the post‐test discussion (see  Appendices C, B and A). The recorder had  minimal interaction with both the volunteers  and the administrator and, instead,  concentrated on the documentation of the  sessions on recording sheets (see Appendix D).  For each scenario there was a recording sheet  which set out the preferred navigation path.  The recorder ticked off each step and noted  any variation, as the volunteer moved through  the intranet site. Other details recorded  included the number of clicks needed to  complete the scenario, whether the volunteer  was successful or unsuccessful in completing  the scenario and any problems of navigation,  architecture, content, terminology,  presentation, search tool, or user support  which were encountered. The administrator  kept a separate record (see Appendix E) and  each session was audio‐taped. Screen capture  software would have been ideal for recording  the usability test sessions. Unfortunately, the  project team did not have access to the  necessary equipment or budget required to  purchase it. In order to obtain the most  accurate record of the session possible, the  administrator and recorder reviewed each  session immediately after the volunteer left  and combined notes (see Appendix F).     Usability testing was conducted in the library  rather than on the wards, which would have  better emulated real‐life use of the site. Testing  in the library was a practical necessity due to  the difficulties of computer access and the  interruptions which would be expected to  occur in the busy clinical workplace.    Results of the scenario‐based usability testing  were appraised for validity by examining the  actual responses of the participants to each  scenario against the information the project  team expected to gain from each scenario. The  methodology was also appraised for reliability.  For example, there was some inconsistency in  the way in which the scenario‐based test  sessions were administered and recorded by  the project team. Also, the project team were  administering the tests largely to participants  known to them, and were also responsible for  redesigning the intranet site, and therefore  some bias in the results was inevitable.    Research Based Guidelines    Once usability issues had been identified, the  usability checklist applied, and the scenario‐ based usability testing conducted, Research‐  Based Web Design & Usability Guidelines  (Koyani, Bailey and Nall) was referred to for  evidence based solutions. Each guideline in  this document includes ʺa brief statement of  the overarching principle that is the  foundation of the guideline, further  explanatory comments on the research,  graphic examples of the guideline in practice  and citations to relevant websites, technical  and research reports supporting the guidelineʺ  (Booth, ʺUntanglingʺ 71). To assist in the  process of applying the recommendations  locally, each guideline is assigned a strength of  evidence and relative importance score.     Once relevant guidelines were identified, they  were applied, taking into account local  conditions such as a fixed intranet template  and organisational structure and culture.     Results    Raward’s checklist was an effective way to  identify where the site fell short of best  practice in design for usability. Keevil explains  that usability checklists “can measure the  usability index of a website and determine,  expressed as a percentage, how closely the  features of a particular website match  generally accepted usability guidelines” (qtd.  in Raward, ʺStudyʺ 109). Not only can the  usability scores of versions of the site be  compared, but also, by virtue of the  characteristics marked NO, a list of  recommendations to improve usability can be  extracted. The checklist identified several  aspects of the site which needed attention, and  this method alone would have resulted in a  revised site with significantly enhanced  usability. Evidence Based Library and Information Practice 2006, 1:1      10   42 79 98 0 20 40 60 80 100 Usability Index (%) Dec 03 Jun 05 Nov 05 Library Intranet Site   Figure 1. Raward Library Usability Index When the checklist was applied to the original  site (an archived version as at December 2003),  it recorded a usability index of only 42%. After  the initial revision based only upon  professional judgement (June 2005), the  usability index improved considerably,  achieving 79%. When the site was substantially  redesigned in November 2005 to address the  issues identified by the usability study, the  score again improved, this time to 98% (Figure  1).  The results of the scenario‐based usability  testing demonstrated a fairly usable site,  though one with plenty of room for  improvement. Overall, participants were able  to successfully complete the tasks 87% of the  time, but only 60% of the time by the preferred  path. Scenario‐based testing supported the  findings of the usability checklist and had the  added benefit of allowing the project team to  observe how clients used the site to satisfy  particular information needs. Not only were  problems with the site identified, but some  insight into why the problem existed was also  gained. Valuable feedback on other library  services and a positive public relations exercise  were unforeseen benefits.    Analysis of the library intranet site using  Raward’s checklist showed that the site was  strong in the areas of technical accuracy and  providing information that is easy to  understand; less strong in presenting  information (including navigation and  formatting); and relatively weak in supporting  user tasks (including an index, site map, help  screens, and FAQs). Usability testing  supported these findings by pinpointing   specific functions that clients expected to be  able to carry out using the intranet site, but  which were difficult in practice. As a result,  the following major changes were made to the  CCHS Library intranet site:  • inclusion of a site index  • phone, fax and, postal address  included on home page  • details for contacting library staff  included on each page  • commonly‐used links made available  on each page  • a link to the home page added to each  page  • headings and links made jargon‐free  and task‐based (“Renew Loans”  replaced “MyLibrary”)  •  “Online Resources” page redesigned  to group related elements together  • provision of an A‐Z list of electronic  journals  • hyperlink labels synonymous with  their destination page titles  • images no longer used to represent  hyperlinks    The redesign includes a new look, presentation,  and format, and the site has been formally  launched. A second round of usability testing  is scheduled for early 2006.        Evidence Based Library and Information Practice 2006, 1:1      11 Discussion    Usability testing lies within the ambit of  evidence based librarianship in that it is  practical, grounded testing carried out in order  to obtain evidence with which to address  relevant and answerable questions facing the  practice of librarianship.   Usability testing is part of a continuous cycle  of development, implementation, and  evaluation. EBL is based on a cyclical process  of evaluation and improvement, and was,  therefore, a suitable framework for this project.  Although standard project methodologies  emphasise formal closure of the project as a  final stage, an ongoing program of usability  testing would transcend the project lifecycle  and become a part of the ongoing maintenance  and development of the site.    The methodology used to enhance the  usability of this library intranet site would be  just as applicable to a usability study of other  library Internet/intranet sites. It is anticipated  that the findings of the project will be used to  propose the launch of an Internet site for the  CCHS Library.     With usability addressed, future projects could  examine how to enhance other factors that  contribute to the library site’s effectiveness. Is  the site meeting the needs of clients? Is the site  accessible by clients? Do the potential users of  the site have the skills necessary to use the  resources provided? If such investigation leads  to further revision of the site, modifications  would be subject to usability testing, as a  matter of course.     Usability Testing  The Raward Library Usability Analysis Tool  was extremely valuable in the early stages of  site development, promoting adoption of  recognised best practice. Ongoing regular use  of the checklist is limited by the subjectivity of  certain sections of the assessment. However, it  remains an extremely useful tool for  maintaining a focus on best practice guidelines.    The project team found that, despite requiring  a large investment of time, scenario‐based  testing yielded valuable information about the  library’s intranet site and exposed usability  issues obscured by the limitations of the  checklist analysis. The next round of scenario‐ based testing is expected to demonstrate that  the usability index of 98% scored in November  2005 is an artificially high indicator of usability.    Applying Raward’s checklist to the intranet  site required a much smaller commitment of  time and effort than conducting scenario‐based  testing. Writing the scenarios, scripts, and test  protocol; making appointments with subjects;  setting up the room; administering the tests;  analysing the results; and so on, consumed  large amounts of time. Conducting research as  a team makes it a challenge to ensure  consistency. Procedures for administration of  the tests and recording of data were  standardised, but variations still occurred. In  contrast, each time Raward’s checklist was  applied to the intranet site (December 2003,  June 2005, November 2005), two or more  members of the project team applied the  checklist independently of each other but  obtained almost identical results. This  confirmed the tool’s suitability for the purpose  for which it was designed – a quick and easy  test of website usability requiring only a sole  evaluator.    The Raward checklist and scenario‐based  testing were found to be complementary tools  for identifying usability issues. To maximise  the benefit of scenario‐based testing (especially  because it is so resource intensive), the  methodology used here could be improved by  implementing the changes recommended by  Raward’s best‐practice guidelines, first. This  would avoid scenario‐based test subjects  experiencing problems with usability, which  could have been easily identified and resolved  in the first instance, thereby maximising the  project team’s opportunity to gather valuable  local, client‐specific feedback.    This project did not test enough subjects to  enable each usability objective (such as the  time taken to complete a task, number of clicks,  or completion via the preferred pathway) to be  measured to a particular confidence level. To  Evidence Based Library and Information Practice 2006, 1:1      12 do so was beyond the resources of the project  team. However, enough subjects (eight in total)  were tested to obtain meaningful results for  this type of research. It was the experience of  the project team that after the first two or three  usability tests, the subjects tended to identify  the same problems and experience very similar  difficulties with the site. For example, none of  the subjects were able to successfully complete  Scenario 4 (renewing loans online) due to the  absence of a link for this function on the home  page as well as unclear instructions for its use  if/when the link was located.     Application of EBL  A project such as this cannot be achieved in  isolation from the normal operation and  management of the library. The project team  undertook the usability study, not only as a  means of improving the library’s intranet site  but also “to explore the realities and  practicalities of the EBLIP process within the  constraints offered by a library practitioner  role” (Booth, ʺAustralianʺ 71).    CCHS Library staff developed a strong  understanding of EBL and its practical  application over the course of this project  largely due to the workshop series, prepared  and presented by the project team.     One barrier to the EBL approach was that the  project team did not have easy access to major  library and information science databases with  international coverage, e.g., Library and  Information Science Abstracts (LISA) and Library  Literature. Access to the indexed professional  literature is required for EBL to make the  transition from theory to practice. The project  has also highlighted the difficulties of  applying EBL when tools such as appraisal  checklists are still under development or  difficult to locate.    Following through all the stages presented by  the EBL model, rather than just engaging with  specific components, not only enhanced  project outcomes but also enriched the  professional development experience. For  instance, project evaluation normally marks  the end of a project. However, the EBL model  encourages dissemination of results as a final  stage, to enhance the evidence base available  to the profession for future decision making.  Knowledge that the project would be  presented to an audience of peers, made the  project team more rigorous at every stage ‐  from designing methodology to analysing  results.    Project Management  The experience of the project team has been  that project management and EBL are  complementary and can enhance the outcomes  of any project. EBL was identified as a way of  ensuring best practice; project management  ensures it is achieved efficiently. Just as  flavour is enhanced by adding spice when  cooking, embedding EBL in a project’s  methodology should produce a blueprint to  enable a good project to become even better.     The usability project has demonstrated that  EBL is not a “bolt‐on extra” but “can be  integrated within the accepted structure of the  project management cycle” (Booth,  ʺAustralianʺ 71).  The CCHS Library’s  standard project methodology has been  refined to allow for the EBL model to be  incorporated locally on an ongoing basis. The  project team is now developing this project  planning tool for wider application. It is  anticipated that provision of such an  instrument will help to bridge the gap between  evidence based librarianship as a theory  presented in a text book, and evidence based  librarianship routinely applied in the  workplace to enhance decision making.       Acknowledgement    A version of this paper was presented at the 3rd  International Evidence Based Librarianship  Conference, held in Brisbane, Australia  (October 2005). See:   .          http://conferences.alia.org.au/ebl2005/Cotter Evidence Based Library and Information Practice 2006, 1:1      13 Works cited    Booth, Andrew. ʺBriefing Paper #1. Facilitated  Online Learning Interactive Opportunity  (FOLIO): Evidence Based Librarianship  (EBL)ʺ. 2003. National electronic Library  for Health. 29 April 2003.  .    ‐‐‐. ʺAustralian Supermodel?‐‐a Practical  Example of Evidence‐Based Library and  Information Practice (EBLIP).ʺ Health  Information and Libraries Journal 23.1  (2006): 69‐72.    ‐‐‐. ʺCriSTAL Onlineʺ. 2003. 5 September 2005.  .    ‐‐‐. ʺExceeding Expectations: Achieving  Professional Excellence by Getting  Research into Practice.ʺ LIANZA 2000.  Christchurch, New Zealand, 2000.    ‐‐‐. ʺFormulating Answerable Questions.ʺ  Evidence‐Based Practice for Information  Professionals: A Handbook. Eds. Andrew  Booth and Anne Brice. London: Facet, 2004.  61‐70.     ‐‐‐. ʺUntangling the Web. Using Research in  Practice.ʺ Health Information and Libraries  Journal 21.1 (2004): 70‐73.    ‐‐‐. ʺWhat Research Studies Do Practitioners  Actually Find Useful?ʺ Health Information  and Libraries Journal 21.3 (2004): 197‐200.    Booth, Andrew, and Anne Brice. ʺAppraising  the Evidence.ʺ Evidence‐Based Practice for  Information Professionals: A Handbook.  Eds. Andrew Booth and Anne Brice.  London: Facet, 2004. 104‐17.     Campbell, Nicole, et al. ʺDesigning for the  User: How to Test for Usabilityʺ. 2001. 27  May 2005.  .    Carter, Sharna, and Mary Grimmond.  ʺRehabilitating the Stroke Collection.ʺ 3rd  International Evidence Based  Librarianship Conference. Evolution of  Evidence : Global Perspectives on Linking  Research with Practice. Brisbane, Australia,  2005.    Clairmont, Michelle, Ruth Dickstein, and Vicki  Mills. ʺTesting for Usability in the Design  of a New Information Gatewayʺ. 30 May  2005.  .    Cotter, Lisa, et al. ʺAdding Spice to Our  Library Intranet Site: A Recipe to Enhance  Usability.ʺ 3rd International Evidence  Based Librarianship Conference. Evolution  of Evidence : Global Perspectives on  Linking Research with Practice. Brisbane,  Australia, 2005.    A Guide to the Project Management Body of  Knowledge: PMBOK Guide. 3rd ed.  Newtown Square, PA: Project  Management Institute, Inc., 2004.    ISO 13407: Human‐Centred Design Processes  for Interactive Systems. Geneva:  International Organization for  Standardization, 1999.    Koyani, Sanjay J, Robert W Bailey, and Janice R  Nall. Research‐Based Web Design &  Usability Guidelines. Washington, D.C.:  United States Department of Health and  Human Services, 2003.    Krug, Steve. Donʹt Make Me Think! : A  Common Sense Approach to Web  Usability. Indianapolis, Ind.: New Riders,  2000.    MIT Libraries. ʺWeb Site Usability Testʺ. 1999.  MIT Libraries. 27 May 2005.  .    Nielsen, Jakob. ʺWhy You Only Need to Test  with 5 Usersʺ. 2000. Jakob Nielsenʹs  http://www.shef.ac.uk/scharr/eblib/briefi http://www.shef.ac.uk/scharr/eblib/ http://www.vancouver.wsu.edu/fac/camp http://www.library.arizona.edu/library/te http://macfadden.mit.edu/webgroup/usa Evidence Based Library and Information Practice 2006, 1:1      14 Alertbox. 20 June 2005.  .    Norlin, Elaina. Usability Testing for Library  Websites: A Hands‐on Guide / Elaina  Norlin, CM! Winters. Chicago: American  Library Association, 2002.    Pace, Andrew K. ʺOptimizing Library Web  Services: A Usability Approach.ʺ Library  Technology Reports 38.2 (2002): 2‐81.  Pearce, Judith. ʺTesting the Usability of the  NLA Web Site.ʺ National Library of  Australia Gateways 51 (2001): 20‐21.    Raward, Roslyn A. ʺA Report on the  Development of a Usability Analysis Tool  for the Evaluation of Library Websites.ʺ  Sydney, 2003. Information Online 2003:  11th Conference and Exhibition. (21‐23  January 2003).  .    ‐‐‐. ʺA Study of Best Practice Design  Guidelines and the Development of a  Usability Analysis Tool for the Evaluation  of Australian Academic Library Web  Sites.ʺ Thesis (M.A.). University of  Canberra, 2002.    Vaughn, Debbie, and Burton Callicott.  ʺBroccoli Librarianship and Google‐Bred  Patrons, or Whatʹs Wrong with Usability  Testing?ʺ College & Undergraduate  Libraries 10.2 (2003): 1‐18. http://www.useit.com/alertbox/20000319 http://conferences.alia.org.au/online2003/ Evidence Based Library and Information Practice 2006, 1:1      15 Appendix A   Post Test Discussion      Thank you for your participation. Please take a moment to answer the following:      1. When you were completing the tasks, how did you feel (frustrated, confident, etc.)?                  2. What do you like about the site?                   3. If you were to change anything about the site, what would you change?                   4. Any other comments?                  5. What is your overall assessment of the site? Assign a mark out of 10.  (1 is poor, 10 is great)    1  2  3  4  5  6  7  8  9  10  Evidence Based Library and Information Practice 2006, 1:1      16 Appendix B   Scenario‐based Usability Test Tasks  Scenario 1  You would like to request a change in the Gosford or Wyong Hospital Library’s opening hours. How  would you submit your suggestion via the Library’s intranet site?    Objective: Can the client provide feedback to the Library? Can the client locate Library forms to  request services?    Scenario 2  You have determined that the journal that has the article you need is not held in the Gosford nor  Wyong Hospital Libraries, nor is it available online. Find an electronic form that you can use to  request a photocopy of this article from another library.    Objective: Can the client request journal articles not directly available through CCH library Services?  Can the client locate Library forms to request services?    Scenario 3  You need to talk to the librarian who liaises with the University of Newcastle. Locate their contact  details on the Library’s Intranet site.    Objective: Can the client contact the Library staff member best able to answer their inquiry?    Scenario 4  Its 10.00pm and you have just started your shift when you realise that your Library books are due  today, but the Library is closed. Demonstrate how you would renew your books using the Library’s  intranet site.    Objective: Can the client manage their Library borrower account (such as renew books)?    Scenario 5 (CCH staff only)  Your manager/NUM has asked you to review a procedure commonly performed in your  department/ward. Any changes you make must be evidence‐based. You would like the librarian to do  a search for the latest information on this topic. It is after hours and there is no phone help available.  Show how you would submit a search request using the Library’s intranet site?    Objective: Can the client locate Library forms to request services?    Scenario 6  CCH staff : You would like to update your information‐seeking skills and learn more about CIAP.  Using the intranet site, how will you find out about training offered by the Library?    Evidence Based Library and Information Practice 2006, 1:1      17 University :You would like to update your information‐seeking skills and learn more about The  University of Newcastle’s online resources. Using the intranet site, how will you find out about  training offered by the Library?    Objective: Can the client seek help to improve their information skills? Can the client contact the  Library staff member best able to answer their inquiry?     Scenario 7  You are looking for a book on cardiac nursing and wonder whether the Gosford or Wyong Hospital  Libraries have any. How would you find out using the Library’s intranet site?    Objective: Can the client identify the catalogue, NEWCAT?    Scenario 8  You need to search MIMS and the print copies have all gone missing, so you have to look up the  online version. Show us how you would access MIMS Online using the Library’s intranet site?    Objective: Can the client access specific databases such as Medline, or MIMS? Can the client access  CIAP or the University of Newcastle’s online resources as appropriate?    Scenario 9 (CCH staff only)  Your colleague has told you there is a direct link on the Library’s intranet site to the online edition of  the European Respiratory Journal. View the current issue of this journal.     Objective: Can the client locate full‐text journal articles, or the online edition of a journal?    Scenario 10  You need to read an article in the latest issue of The Lancet. Demonstrate how you would access the  online version of The Lancet via the Library’s intranet site?      Objective: Can the client locate full‐text journal articles, or the online edition of a journal? Can the  client access CIAP or the University of Newcastle’s online resources as appropriate?     Scenario 11  CCH staff :You have heard about CIAP and are keen to know more. Go to CIAP via the Library’s  intranet site so that you are able to browse the resources available.    University : You have heard about The University of Newcastle’s journal databases and are keen to  know more. Go to the list of online databases provided by The University of Newcastle so that  you are able to browse the resources available.    Objective: Can the client access CIAP or The University of Newcastle’s online resources?     Evidence Based Library and Information Practice 2006, 1:1      18 Scenario 12  You need to search the health literature for information on a work/study related topic. The Library is  not open to seek help. Demonstrate how you would begin.     Objective: Can the client select appropriate information resources to find required information?    Scenario 13  You would like to recommend that the Library purchase a particular book. Demonstrate how you  would make this recommendation using the Library intranet site.    Objective: Can the client submit suggestions for new book purchases? Can the client locate Library  forms to request services?    Scenario 14  You would like to know what is published in your favourite journal each month. You have heard table  of contents alerts are available, but are unsure as to how to go about setting them up. Use the Library’s  intranet site to find help with this.     Objective: Can the client locate table of contents (TOC) and other current awareness services?      Assistance Guidelines    If participant seeks help as they are lost, general advice would be to “Return to the Library  Homepage and start again” and/or refer the participant back to the question.    If participant is prompted to enter a password and seeks help – first, explain which password is  required and encourage them to enter it if they know it. If they don’t know it or don’t have one,  the test administrator should enter one, and the test monitor should note this as an issue. In the  post‐test interview, clear up any password issues.    If the participant is obviously on the wrong track (due to misinterpretation of the question), the  test administrator should clarify the scenario.    Usability Test Sessions    The 14 tasks have been divided into 2 separate tests. Each test will be administered to a group of  participants with a similar profile. The 7 tasks in each test will be administered in random order to  each participant. Tasks 5 and 9 will only be administered to CCH Staff.    Test A  Tasks 1, 2, 7, 9, 11, 12, 14    Test B  Tasks 3, 4, 5, 6, 8, 10, 13      Evidence Based Library and Information Practice 2006, 1:1      19 The questions will be presented to the participants in the following order:    Test A    Participant  Task Order  A1  9  2  7  14  11  1  12  A2  14  12  7  11  9  1  2  A3  12  14  2  1  11  7  9  A4  7  12  14  9  1  11  2  A5  14  1  9  12  7  2  11  A6  12  7  1  14  2  9  11  A7  12  11  7  2  9  1  14      Test B    Participant  Task Order  B1  6  8  10  5  13  3  4  B2  3  10  6  8  5  13  4  B3  5  6  3  4  13  8  10  B4  3  4  10  5  13  8  6  B5  3  13  10  6  5  4  8  B6  3  5  13  10  4  6  8  B7  13  3  5  10  8  6  4      Evidence Based Library and Information Practice 2006, 1:1      20 Appendix C   Participant Profile Questionnaire    Tester number :   _____________________________       Test version :    A   B  Test date/time :    _____________________________                                 Personal profile    Domain :      allied health   medicine   nursing   student   other   __________________________    Which organisation’s online resources are you eligible to access ?   Central Coast Health         The University of Newcastle     Is English your first language ?   Yes         No       Computer experience    How often do you use a computer (at home or at work) ?   Daily         Weekly         Monthly         Almost never         I have NEVER used a computer    How often do you use the hospital’s intranet ?   Daily         Weekly         Monthly         Almost never         I have NEVER used the hospital’s intranet    How often do you use the CCH Library Services’ intranet site ?   Daily         Weekly         Monthly         Almost never         I have NEVER used the Library’s intranet site    Do you agree to an audio‐recording of the test session being made?   Yes         No   Evidence Based Library and Information Practice 2006, 1:1      21 Appendix D  Usability Test Recording Sheet – Recorder (sample)  SCENARIO 1  You would like to request a change in the Gosford or Wyong Hospital Library’s opening hours. How would  you submit your suggestion via the Library’s intranet site?    Objective: Can the client provide feedback to the Library? Can the client locate Library forms to request  services?    Criteria for success: Ask A Question form is located, or appropriate contact details are identified.    Preferred path: Ask A Question LOGO/LINK    Or  Contact Us | identify the Library Manager, General Inquiries, or Ask A Question form    Time allowed: 3 minutes (maximum)      BROWSING   Note path taken & navigation tools used:     Top navigation bar   Left navigation bar   QuickLinks   Logos      SEARCH TOOL  Was the search  tool used?       Yes        No        Search terms used :  Did the search tool  provide the  answer?     Yes        No    Comments:    DESCRIBE ISSUES/PROBLEMS:                  SUMMARY      Successful via expected path   Successful via unusual path   Error made, though recovered   Error made, did not recover  Evidence Based Library and Information Practice 2006, 1:1      22 Appendix E  Usability Test Recording Sheet – Administrator (sample)  SCENARIO 1  You would like to request a change in the Gosford or Wyong Hospital Library’s opening hours. How would  you submit your suggestion via the Library’s intranet site?    Objective: Can the client provide feedback to the Library? Can the client locate Library forms to request  services?    Criteria for success: Ask A Question form is located, or appropriate contact details are identified.    Preferred path: Ask A Question LOGO/LINK    Or  Contact Us | identify the Library Manager, General Inquiries, or Ask A Question form    Time allowed: 3 minutes (maximum)      CLICKS                          PASSWORD ISSUES     Internet   CIAP   Database   NEWCAT PIN    Comments :    COMMENTS  Evidence Based Library and Information Practice 2006, 1:1      23 SUMMARY   Successfully completed within time allowed ?    Yes      No     Number of clicks:      Evidence Based Library and Information Practice 2006, 1:1      24 Appendix F  Usability Test Recording Sheet – Summary (sample)  SCENARIO 1  You would like to request a change in the Gosford or Wyong Hospital Library’s opening hours. How would  you submit your suggestion via the Library’s intranet site?    Objective: Can the client provide feedback to the Library? Can the client locate Library forms to request  services?    Criteria for success: Ask A Question form is located, or appropriate contact details are identified.    Preferred path: Ask A Question LOGO/LINK    Or  Contact Us | identify the Library Manager, General Inquiries, or Ask A Question form    Time allowed: 3 minutes (maximum)      SUMMARY     Successfully completed within time allowed ?     Successful via expected path   Successful via unusual path   Error made, though recovered   Error made, did not recover            Yes     No        Number of clicks:    ______      Navigation     Top navigation bar   Left navigation bar   QuickLinks   Logos      ISSUES IDENTIFIED      Level of concern     Comment  Architecture…………………. .   Major    Minor    ………………………………………………………  Content      – missing…………………..   Major    Minor    ………………………………………………………  – out‐of‐date / erroneous...   Major    Minor    ………………………………………………………  Navigation       – CCH Intranet site……….   Major    Minor    ………………………………………………………  – Library Services site……   Major    Minor    ………………………………………………………  Presentation………………....   Major    Minor    ………………………………………………………  Search tool…………………..   Major    Minor    ………………………………………………………  Terminology……………….... .   Major    Minor    ………………………………………………………  User support / help………….   Major    Minor    ………………………………………………………        Evidence Based Library and Information Practice 2006, 1:1      25   OTHER      PASSWORD ISSUES     Internet   CIAP   Database   NEWCAT PIN