Microsoft Word - ART_Price.doc Evidence Based Library and Information Practice 2007, 2:3  43 Evidence Based Library and Information Practice     Article    Using a Prompt Sheet to Improve the Reference Interview in a Health Telephone  Helpline Service      Toni Price  National Institute for Health and Clinical Excellence  Manchester, UK  Email: toni.price@nice.org.uk    Christine Urquhart  Department of Information Studies  University of Wales Aberystwyth  Llanbadarn Campus  Aberystwyth, UK   Email: cju@aber.ac.uk    Janet Cooper  Truro College  College Road  Truro, UK  Email: janetcooper@trurocollege.ac.uk      Received:  15 May 2007     Accepted: 19 July 2007      © 2007 Price, Urquhart, and Cooper. This is an Open Access article distributed under the terms of the  Creative Commons Attribution License (http://creativecommons.org/licenses/by/2.0), which permits  unrestricted use, distribution, and reproduction in any medium, provided the original work is properly  cited.    Abstract    Objective ‐ The study examined whether a prompt sheet improved the reference interview  process for health information advisers working at NHS Direct, a 24‐hour telephone  helpline that provides confidential health care advice for the public in England.    Methods ‐ A randomised control trial was conducted at eight NHS Direct sites across  England in 2003‐04. Newly recruited health information advisers (n=30), full and part‐time,  were randomly allocated to a control group (n=15) or intervention group (n=15), and 26  mailto:price@nice.org.uk mailto:cju@aber.ac.uk mailto:janetcooper@trurocollege.ac.uk http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:3  44 completed the study. Existing health information advisers were involved in the planning  and design of the intervention. The prompt sheet included prompts for demographic  information, reason for call, condition/treatment plan, existing knowledge of caller, special  needs of the caller, handling a call empathetically, and conclusion. Testing of reference  interview expertise was done at the end of basic training, and two months later, using the  same questions. The ten test questions were based on common questions received by NHS  Direct. A relevance framework for possible responses was drawn up for each question for  scoring test responses, with more relevant responses scoring higher than less relevant  responses.    Results ‐ The average score of prompt (experimental) and non‐prompt (control) participants  increased on the second test, for each of the 10 questions. The prompt group improved  significantly more overall than the control group. There was variation within the groups.  Sixteen health information advisers showed a net increase in their score over all ten  questions (10 experimental group, six control group). The post‐test score for an individual  on a particular question did sometimes decrease from the pre‐test score, but all 26 improved  on at least one question. Previous call handler experience did not appear to influence the  extent of improvement, but length and type of experience in the post may have an influence.    Conclusion ‐ The trial demonstrated the benefit of a simple and inexpensive prompt sheet  for some, though not all, newly recruited health information advisers to improve their  reference interview technique.     Introduction    Studies of reference interviewing may  consider a variety of perspectives –  theoretical principles of the process,  expression of inquirer needs, setting, subject  scope variations and training requirements.  From the theoretical perspective, several  studies have re‐examined the questioning  process within the reference interview  (Tuai), the role of the librarian – as expert or  therapist and non‐expert (Stover), or simply  as equal with the inquirer (Mabry).  Strategies used in the process of questioning  could follow the principles of the cognitive  interview (Moody and Carter). Others have  challenged the ‘funnelling’ process and note  the problem of premature closure (Ross and  Dewdney). The theoretical principles of the  reference interview may be drawn from  Speech Act theory (Searle) as suggested by  Dewdney and Mitchell, to understand the  function of what is being said. Alternatively,  interview questions may be based on  reflective listening, the empathic responding  techniques as practised in counselling and  psychotherapy (Nelson‐Jones). Basic  ‘attending skills’ were adapted by Jennerich  for use in librarianship and the 12 skills for  successful reference interviewing include  nonverbal skills (eye contact, gestures,  posture, facial expression and tone of voice)  and verbal skills (remembering, avoiding  premature closure, reflection, paraphrasing,  using encouragement, closing, giving  opinions or suggestions, asking open  questions) (Jennerich and Jennerich). For  telephone interviews, the visual cues are  absent and there is more emphasis on the  voice, the tone, and a protocol for referral to  other experts or for calling back (Ross,  Nilsen and Dewdney 126).     Taylor referred to the levels of expressed  information need of the inquirer as visceral,  conscious, formalized and compromised.  For services that provide health information  to the public, the theories of information  behaviour that seem particularly pertinent  are the sense‐making theory of Dervin and  models of the information search process  that recognise that the inquirer may stop  Evidence Based Library and Information Practice 2007, 2:3  45 temporarily at a particular stage (e.g. in the  formulation stage of the six‐stage process of  information seeking described by Kuhlthau).  Wilson and Walsh stress the emotional  aspects of information seeking and this is  important for health information seeking,  when inquirers may not wish to obtain all  the relevant information at once, preferring  to wait until they feel they can cope with the  facts (Baker).    Recent discussion in the literature on setting  considers how virtual reference services  operate in chat or e‐mail environments (Dee;  Diamond and Pease; Lee; Ross, Nilsen and  Dewdney 185). In academic libraries,  reference services may now be reorganised  to provide a variety of services to meet, cost‐ effectively, the different needs of users  (Simmonds). The lack of desired  functionality and management statistics  may make use of commercial electronic  reference software problematic for some  universities acting in a consortium (Bains).  An alternative approach is to redesign the  home page of a library service, so that it can  perform some of the functions of the  reference interview (Bowman) particularly  for students who may use the Internet as  their first point of access for information.     The subject scope of the interview may  influence the organisation and support  required. In the health sector, a well  prepared search strategy is required. For  evidence‐based practice and clinical queries,  the PICO set of structured questions has  been developed (Straus et al.). PICO stands  for Patient and/or Problem, Intervention,  Comparison intervention and clinical  Outcomes. For clinical queries this type of  structuring should work more effectively for  searching in databases such as MEDLINE,  but this may depend on the type of  information the user is seeking. A  comparison of a PICO structured reference  interview form compared to a minimally  structured form, in a before and after study  in six multidisciplinary health libraries in  England (n=185 PICO requests, n=195  minimally structured requests) found that  the EBM structured forms were associated  with fewer items retrieved, and more  precise search results (Booth, O’Rourke and  Ford). The librarians generally preferred the  minimally structured form, and in fact  demanded that the PICO structured form  include a free text box. For health policy and  management information, a looser structure  may be necessary, and a new mnemonic has  been proposed as a search aid, ECLIPSE,  which stands for Expectation, Client group,  Location, Impact, Professionals, Service  (Wildridge and Bell).     As far as training is concerned, most  manuals on reference interviews include  ‘how to do it’ recommendations on training  staff in reference interview skills, and some  of this advice is based on evidence. Ross,  Nilsen and Dewdney (226) cite evidence that  verification and follow‐up increase the  success of the reference transaction, and that  the microskills training advocated by  Jennerich helps librarians to ask more open  and sense‐making questions. The habit  hardest to break may be that of asking too  many closed questions.     Barriers to a successful reference interview  may be related to expression of the question,  and inquirers may be particularly reticent  when discussing personal health topics.  There are many reasons why such inquiries  may not be successful for the inquirer (Table  1, synthesising literature from (mainly)  Baker; Ross, Nilsen and Dewdney; Taylor).   The reference interview requires the  librarian to demonstrate the following  attitudes:  • Friendliness and approachability  • Courtesy, being polite  • Willingness to listen  • Patience  • Sensitivity to inquirer’s needs  Evidence Based Library and Information Practice 2007, 2:3  46   Problem  Notes  Implication  Ask undemanding question,  not related to need  May relate to lack of  confidence in the librarian, or  viability of the question  Real need not expressed  Question expressed poorly  May not have sufficient  vocabulary to express the  problem precisely, or,  conversely, use too much  jargon  Real need not expressed  precisely and completely  Lack of ease in asking  question about personal  sensitive issues  Health topics particularly  problematic  Requires skills on the  librarian’s side to establish  appropriate empathy  Unwillingness to reveal  reasons for needing  information  Health topics particularly  problematic  May not be able to match need  with appropriate information   Question may be too broad  Inquirer may feel more certain  that the answer will be  obtained   Danger of overload  Question may be too vague  Inquirer may be at too early a  stage in the information  seeking process  May require time for  negotiation of question  Inquirer feels a ‘failure’ for  having to ask   Inquirer may be aggressive or  apologetic  Requires skills on the  librarian’s side to establish  appropriate empathy    Table 1. Inquirer problems in the reference interview      • Confidence  • Persistence  • Sixth sense – in knowing that  something is not quite right (Grogan;  Ross, Nilsen and Dewdney).  The evidence for the negotiation process in  reference interviews indicates the following  types of question, for particular purposes:  • Open questions (to encourage  inquirer to expand)  • Neutral questions (type of open  question ‘Tell me more about…’ to  help check the focus  • Closed questions (when a specific  answer is required, e.g. whether  illustrations are required or not)         (Grogan; Jennerich and Jennerich; Ross,  Nilsen and Dewdney).    Reflective listening, or active listening,  employs the following techniques to ensure  empathic understanding:  • Paraphrasing, to check that  interpretation by the listener is  correct  • Summarising, at the end, to check  that the entire question has been  answered, and that the  interpretation is correct.  • Use of silence, to enable the inquirer  to reflect themselves, without  interruption (Jennerich and  Jennerich).    Evidence Based Library and Information Practice 2007, 2:3  47   Problem  Notes  Implication  Question accepted as face  value  Question, although  convincing, may need further  checking  Inquirer’s real needs not met  Librarian appears  unapproachable (queues)  May require some service  reorganisation  Inquirer does not use the  service again  Intrusive questions  Questions need to appear  relevant  Inquirer may cease to co‐ operate with the negotiation of  the question  Lack of privacy in the setting  Sensitivity to needs important  Inquirer may not provide  sufficient information to  resolve question  Premature closure  (false  focus, Kennedy, Cole and  Carter)   Time pressures may lead to  inadequate reflective listening.  Partial answer at best    Table 2. Librarian problems in the reference interview      For telephone interviewing for health  information it is important that a shared  understanding is achieved between inquirer  and the service provider (Table 2, based  mainly on Jennerich and Jennerich; Ross,  Nilsen and Dewdney; Taylor).     In summary, the guidelines for reference  interviewing are based on some, often old  evidence. Some of the guidelines and theory  have been revisited when designing, and  evaluating telephone and virtual reference  services, but there is a gap in the evidence  on the type of ongoing support required for  reference inquiry staff. The purpose of this  study was to examine how new recruits to a  large telephone helpline service could be  supported after initial training on reference  interview skills, to ensure a high quality of  service to the public.     Setting for study  NHS Direct is a national 24‐hour NHS  (National Health Service) telephone helpline  providing confidential advice and  information to the public in England. Calls  are charged at the local call rate, and there is  an interpreting service for those whose first  language is not English. There is a  complementary online service, NHS Direct  Online. An evaluation of NHS Direct by the  National Audit Office found that NHS  Direct was operating safely and that advice  to callers errs on the side of caution. NHS  Direct was encouraging inquirers to make  more appropriate use of NHS services  (National Audit Office).    When a call comes into the service, the call  handler (assistant health information  adviser) uses a screening protocol to  immediately detect callers who need an  emergency response. The remaining callers  are divided into those who need nurse  assessment (due to symptoms mentioned)  and those who have an information need.  Around 80% of calls involve symptoms and  are therefore routed to a nurse. The  remaining 20% may be referred to a health  information adviser, if the assistant health  information adviser is unable to deal with  the inquiry. Typically, the assistant health  information adviser will provide details  about location of doctors or dentists. The  Evidence Based Library and Information Practice 2007, 2:3  48 full reference interview process starts with  the health information adviser, and in some  cases the inquiry may be referred to an  information team. If, during the course of  the interview with the caller, the health  information adviser judges that nurse  assessment is required, the call will be  transferred to a nurse.     This study focuses on health information  advisers who come from a range of  backgrounds, with no requirement for  previous experience of working in the NHS.  There are no minimum qualifications other  than a ‘good general education’ required for  this role. All receive training before starting  to answer calls, but the extent of this  training varies from region to region. Some  regions provide mentoring support, or  refresher training, and the format of the  advisers’ work varies    Study aims and objectives  Calls to the NHS Direct service continue to  increase, resulting in pressures on the  advisers to respond quickly but effectively.  There are four ways in which the health  information adviser’s techniques could be  enhanced: 1) extending the call assessment  system to include information triage, with  on‐screen prompts to assist the adviser; 2)  prompt sheet used manually; 3) specific and  specialist group training; and 4) individual  training. In practice, option 1) would be  costly to design and deliver, and options 3)  and 4) are part of ongoing staff development.  The views of the health information advisers  were obtained using a questionnaire (n=268,  response rate 88/268, 32.8%), and the most  popular option was refresher group training  (option 3) followed by the prompt sheet  (option 2). Although the prompt sheet was  not the most popular option, it was the  simplest option, and one which could be  trialled easily. The objective was therefore to  trial the prompt sheet in a randomised  control trial of new recruits, to assess  whether it was effective in enhancing the  reference interview technique of the  advisers. The research work contributed to a  dissertation for an MSc(Econ) in Health  Information Management for the researcher  (TP); the other authors are the course leader  (CU), and the dissertation supervisor (JC).    Sample  At the time of the study (2003‐2004) the  structure of NHS Direct was changing, and  that meant that no single site was recruiting  sufficient new health information advisers  to do a trial at one site, thus minimising  potential variables in site support.  Recruitment to the study was done over a  period of months, in three waves, with 30  new health information advisers recruited  voluntarily from eight sites. Random  allocation was by a sealed opaque envelope  type of system, allocation proceeding site by  site. Two participants withdrew due to ill  health, one left for other employment, and  one was excluded on grounds of previous  employment as a health information adviser.  New advisers were judged to have the most  potential for improvement in reference  interview techniques and the trial was  therefore limited to new advisers. It was not  possible to exclude those who were working  part‐time (n=7 part‐time staff completed the  study) or might have had previous  experience within NHS Direct in a call‐ handling role as an assistant health  information adviser (n=5 experimental, n=10  control, had been call handlers). Where  possible, the recruitment, pre‐ and post‐ testing was done in person by the researcher  (TP), but some post‐testing had to be  delegated, under instruction, to the health  information managers on site (Table 3).   Participants withdrew from site 4 (one), site  7 (one) and site 8 (two withdrawals), leaving  26 who completed.    Ethics  The aims and objectives were explained to  the eligible health information advisers,   Evidence Based Library and Information Practice 2007, 2:3  49   Site number  Allocation to  prompt sheet  (n=15)  Allocated to control  group  (n=15)  Visits by researcher  1  4  2  Both pre‐ and post‐test  2  3  1  Both pre‐ and post‐test  3  1  2  Several visits, pre‐test only  4  0  4  None  5  0  1  None  6  2  1  Pre‐test only  7  2  2  Both pre‐test and post‐test  8  3  2  Pre‐test (one participant tested later)  Table 3. Site and participant allocations  noting that the researcher had to identify the  responses to allow comparison of pre‐ and  post‐responses for the analysis. However,  no respondent was identifiable outside the  study. As this was categorised as an audit  for NHS purposes, full NHS research ethics  approval was not required. The study  followed the ethical guidelines of the  Department of Information Studies,  University of Wales Aberystwyth.     Methods  A prompt sheet was devised by the  researcher (TP) by first considering the  stages of a call, and the type of questions,  and subject areas that should be covered.  The prompt sheet was piloted with a group  of six health information advisers, of  varying experience. The revised sheet was  circulated to five experienced health  information advisers, two of whom were  involved with the pilot, and minor  amendments made.    The prompt sheet reminded the advisers to  check:  • What is the caller’s inquiry (specific  illness, diagnosed/suspected or a  worry, tests/surgery – done or  planned), drugs (dosage, period  taken), complementary therapies?  • Who is the call about (self, partner,  family, who else is involved – GP,  social worker etc)  • How (recent or longstanding is the  illness, how much is already known,  how did they find out?)  • Why (have they called today –  specific need?)  • Outcome (to read, send, further  research required?) Remember to  quote sources  • Organisations (phone number,  address, website)  • Special needs (urgent, and by when,  particular requirements)  • Conclusion (restate what NHS  Direct will do now (and/or when)    The same questions were used at pre‐test  (after initial training but before taking calls  from the public) and post‐test. Questions  were designed to be sufficiently diverse to  capture the required range of expertise, and  ten questions were devised, with the help of  the six health information advisers in the  pilot. The assessment matrix comprised pre‐ determined categories and content of  responses (highly relevant, relevant,  potentially relevant, minimal relevance) and  responses outside that list had to be  considered on their merits. The question  Evidence Based Library and Information Practice 2007, 2:3  50 topic chosen to pilot the assessment matrix  was a common inquiry topic, asthma, and  the matrix (and scoring system) examined to  ensure that the questions (and scoring  framework) could differentiate performance.  Emphasis was placed on the type of  information the adviser would need to  obtain. The responses from the six advisers  in the pilot could be allocated among the  relevance categories, and the majority of the  advisers’ responses fell into the highly  relevant category, as expected.     The questions chosen for the pre‐ and post‐ test were based on experience of the type of  topics received at NHS Direct and the type  of detail initially offered by an inquirer. The  type of calls (about drugs, meningitis,  treatment options, and cancer) would be  covered in training, and novice health  information advisers should provide  adequate responses.  The ten questions  chosen were:  1. My friend has a breast lump and is  worried  2. I have been told my child’s skin  problem is eczema and I need more  information  3. I saw the GP about some  menopausal symptoms but am  worried about taking the HRT he  prescribed  4. A work colleague has been  diagnosed with meningitis and I  want to know more about the illness  5. My teenage son has acne, and I’d  like to know more about treatment  6. I’m taking Prozac and want to know  more about it  7. I’d like some information on knee  replacements  8. I have cancer  9. I’m on Warfarin  10. The GP is going to arrange tests    The five experienced health information  advisers were asked for comments on the  ten questions, but no suggestions were  received. The scoring system gave higher  scores to highly relevant responses, but the  total possible score varied with each  question as the number of questions that  could be asked varied, as did their relevance.  For every question, existing knowledge,  specific concern, and information need  should be assessed, and status of diagnosis  is usually very important. Callers may be  asking for information for themselves,  although posing the question as for a friend,  and it is often potentially relevant to  establish that. Table 4 provides an example  score framework for question one.  In the pre‐test, the experimental and control  group participants were given as much time  as they wanted to answer the questions, up  to a 25 minute maximum for all ten  questions in a written test. After testing, the  advisers were divided into their groups, and  the control group returned to their duties,  while the experimental group was given  brief instructions on the prompt sheet, in  which they were requested to consult the  prompt sheet regularly, and notified that  they would be asked to complete an  evaluation sheet on the use of the prompt  sheet at the end of the study. The  experimental group subjects were asked not  to discuss or share the prompt sheet with  other staff. In practice, it was difficult to  assess whether compliance with use of the  prompt sheet was thorough, or whether the  experimental groups shared the prompt  sheet with the control group. The same  questions were asked at post‐test,  approximately two months later, under the     Evidence Based Library and Information Practice 2007, 2:3  51 Highly relevant  (score 3)  Relevant   (score 2)  Potentially relevant  (score 1)  Minimal relevance  (score ‐1)  Diagnosed?  Type  Self or other  Medicines  GP/consultant  involvement  Gender  Age  Other medicines  Symptoms  Treatment/care plan  Co‐morbidity  Menstrual cycle  Duration of  episode/timescales  Medical history  Prognosis knowledge    Tests  Family history  Support    Existing knowledge        Specific concern        Information need        Possible score =24  Possible score = 10  Possible score =5  Total possible score =  39  Table 4. Assessment matrix for question one      same timing and test conditions as the pre‐ test.    Results  Results are presented for the 26 participants  who completed the trial. For the pilot  asthma question, the average score was 12.3,  and the question scores in the trial were  similar.     Changes in overall performance   The average scores obtained across pre‐test  and post‐test, and across all questions  ranged from 7.9 to 14.4. On average, scores  improved from pre‐test to post‐test, and  without exception the average scores  improved for each question (Table 5). The  mean score per question at pre‐test was 9.6  (standard deviation 1.66), and the mean  score post‐test was 11.1 (standard deviation  1.61). The post‐test and pre‐test scores were  significantly different (t‐test, t=12.5, dof =9,  p<0.01). Making a more conservative  assumption that the t‐test conditions of  normal distribution are not satisfied, and  that non‐parametric testing should be  applied, the pre‐test and post‐test scores  remain significantly different (Wilcoxon     signed ranks test, T=0, n=10, p<0.01, one‐ tailed test).    Differences between the experimental group  (prompt) and control group were examined  in various ways and are described below.  The experimental group improved more  than the control group on eight of the ten  questions. The control group improved  more than the experimental group on only  two questions (question 4 and question 10)  and the difference for question 10 was small  (Table 6). Question 5 showed the most  improvement of all the questions and the  majority of the improvement was from the  experimental group. The experimental  group’s overall improvement on the  questions was significantly better than that  of the control group (Wilcoxon signed ranks  test, T=4, p<0.05, two‐tailed test). To assess  whether the improvement was due to an  increase in the number of potentially  relevant responses, at the expense of the  highly relevant responses, the differences in  total ‘highly relevant’ scores of the  experimental group and the control group  were compared. Over ten questions, the  experimental group’s score for highly     Evidence Based Library and Information Practice 2007, 2:3  52     Pre‐test  Post‐test  Difference  Q1  Breast lump  10.4  11.7  1.3  Q2  Childhood eczema  10.7  12.3  1.6  Q3  HRT/menopause  9.1  10.1  1.0  Q4  Meningitis  8.2  9  0.8  Q5  Teenage acne  7.6  9.7  2.1  Q6  Prozac  10.3  11.9  1.6  Q7  Knee replacement  7.9  9.5  1.6  Q8  Cancer  13.2  14.4  1.2  Q9  Warfarin  9.1  10.8  1.7  Q10  Tests arranged by GP  9.3  11.2  1.9  Table 5. Average scores for each question, pre‐test and post‐test            Table 6. Difference in increase in scores at post‐test    relevant responses increased from 1083 to  1272 (an increase of 189 points, equating to  63 additional aspects noted) and the control  group increased from 1110 to 1215 (an  increase of 105 points, or 35 additional  aspects). For the relevant responses, the  score for the experimental group changed  from 102 to 154 (an increase of 52 points, or  26 additional aspects noted), and the control  group increased their score from 116 to 128  (an increase of 12 points, 6 additional  aspects).         Changes in individual performance  Sixteen health information advisers showed  a net increase in their score over all ten  questions, and ten of these were from the  experimental group, six were control. The  post‐test score for an individual on a  particular question did sometimes decrease  from the pre‐test score, but all 26 improved  on at least one question. Fifteen (9  experimental, 6 control) improved at post‐ test on five or more questions.             Experimental (prompt)    Control  Q1  Breast lump  22  11  Q2  Childhood eczema  30  13  Q3  HRT/menopause  19  8  Q4  Meningitis  5  14  Q5  Teenage acne  49  6  Q6  Prozac  34  7  Q7  Knee replacement  36  4  Q8  Cancer  19  11  Q9  Warfarin  28  18  Q10  Tests arranged by GP  23  26  Evidence Based Library and Information Practice 2007, 2:3  53   HIA #  Prompt  (experimental)/Control  FT/PT  Previous  call‐ handler?  Net  score  increase  Site  4  Prompt  FT  N  75  1  14  Control  FT  Y  67  4  18  Control  FT  Y  52  6  28  Prompt  FT  Y  50  8  10  Control  PT  Y  42  1  8  Prompt  PT  Y  41  3  6  Prompt  FT  N  38  2  3  Prompt  PT  N  31  1  1  Prompt  FT  N  25  1  11  Control  FT  N  18  2  25  Control  FT  Y  16  3  5  Prompt  FT  N  10  2  15  Control  FT  Y  10  4  7  Prompt  FT  N  8  2  29  Prompt  FT  Y  5  8  17  Prompt  FT  Y  2  6    Table 7. Characteristics of the 16 health information adviser (HIA) ‘improvers’      The group was too small to permit proper  statistical analysis of some of the factors that  might also affect improvement. For example,  some of the participants had previous  experience as a call handler, and some  would have more time to practise as they  worked full‐time rather than part‐time. Of  the sixteen ‘improvers’ who had shown a  net increase in score over ten questions,  seven had not had previous call handling  experience, and nine had (Table 7). A Mann‐ Whitney U test indicated that there was no  significant difference (n1=7, U1=29.5, n2=9,  U2=33.5) between those with previous call  handling experience and those without. A  similar Mann‐Whitney U test for the effect  of full time or part‐time was just significant  (n1=13, U1=6, n2=3, U2=13, p <0.05) as U=6 just  meets the level for significance. While  plausible, this would need further testing  with a larger sample. The data indicated  that some sites were not represented among     However, only one participant was  recruited from site 5. For site 7, it is possible  that there were some site‐specific conditions,  as all three of the participants there were in  the top scorers at pre‐test, but none were in  the top 16 improvers.  The characteristics of the 22 of the 26  participants were examined to assess  whether there was a possible ceiling effect  operating among some of the participants  (Table 8). This would occur if participants  were already skilled to a high level after  initial training, and might be indicated by  high pre‐test and post‐scores, but no  improvement. Only four health information  advisers (HIA 5, 17, 21 and 22) fall into this  group. Another four (HIA 6, 10, 11 and 14)  scored well at pre‐test, post‐test and were in  the top 13 improvers. Five (HIA 7, 16, 19 20,  and 30) feature only in top pre‐test group,  but do not appear to have improved much.     Evidence Based Library and Information Practice 2007, 2:3  54   HIA#  Top 13  pre‐test  Top 13  post‐test  Top 13  improvers  1      Y  3    Y  Y  4    Y  Y  5  Y  Y    6  Y  Y  Y  7  Y      8    Y  Y  10  Y  Y  Y  11  Y  Y  Y  14  Y  Y  Y  15      Y  16  Y      17  Y  Y    18    Y  Y  19  Y      20  Y      21  Y  Y    22  Y  Y    25      Y  28    Y  Y  29      Y    Table 8. Characteristics of individual changes among health information advisers (HIAs)      Five were in both the top group at post‐test  and among the top improvers. Four of these  had received the prompt instructions.     Discussion  The findings of this study indicate the  effectiveness of the prompt sheet in  improving the reference interview skills of  new recruits to the telephone helpline  service. Several of the training methods  advocated for reference librarians, such as  peer coaching (Ross, Nilsen and Dewdney)  or class training are costly in terms of staff  time. In the NHS Direct setting, initial  training followed by use of the prompt sheet  appeared successful in improving the  quality of the reference transactions. The  results also suggest that there are individual  differences as some staff did not improve,  whereas others improved significantly. This  individual variation, together with the small  sample size, limits the generalisability of the  findings. Some of this improvement may be  a result of factors beyond the control of the  study such as discussions with managers,  following an audit of calls. Experience may  help, but the prior experience of being a call  handler did not seem to affect the scale of  improvement, although more experience in  the health information adviser post at NHS  Direct may be an influence. However, the  study did not measure the actual number of  hours worked by the participants, nor was it  possible to assess the type of inquiries that  were handled by the participants over the  period between pre‐test and post‐test. The  impact of the prompt sheet intervention  may be limited to a short period after initial  Evidence Based Library and Information Practice 2007, 2:3  55 training. Another factor that needs to be  taken into consideration is the degree of  flexibility in duties, as health information  advisers may sometimes help out with call  handling duties. The main limitation, as  already mentioned, was the small number of  participants.    The final version of the prompt sheet was  structured but not as detailed as earlier  versions and this may have contributed to  the success of the intervention. Other  studies (Booth, O’Rourke and Ford;  Wildridge and Bell) also indicate that  librarians may prefer a looser structure,  rather than following a rigid protocol for the  reference inquiry.     Performance at a test may not be a good  judge of performance in routine inquiry  work, but to test otherwise would have been  very difficult. Sites for NHS Direct are  geographically dispersed, and observation  would have been time consuming. In  addition, there is no guarantee that  observed performance is identical to  performance when not observed.  Comparison of performance against  different questions, from different inquirers  would be unreliable. On the other hand,  supplying written answers is not the same  as conducting a reference interview, and  some health information advisers may be  better, or worse at the interaction, and  sequence of the interview, moving from  response to next question, than their written  responses might indicate. The pilot test,  with the experienced health information  advisers, indicated that the score would  very rarely exceed one third of the total  possible score.     The ten questions used were typical of NHS  Direct inquiries. There seems no particular  reason why question 5 (on acne) should  have shown the most improvement in the  quality of response, but there was sufficient  range in responses to suggest that the  questions were effective in differentiating  performance. The questions and scoring  worked as might be expected for the range  of skills among the participants. Even if  some participants were already ‘highly  skilled’,  the questions and scoring helped to  identify overall improvement (or not), and  the different weighting given to highly  relevant responses helped to differentiate  between good and very good performances.     Research indicates that those seeking health  information vary in their attitudes towards  the timing and the quantity of information  required. Some want to know everything as  soon as possible and others prefer not to  know everything immediately (Baker). The  responses to the questions were scored on  the assumption that most inquirers wanted  a full response, although some information  is often sent on later. An audit of calls  would be necessary to decide whether some  callers genuinely do not want a full response  at the time, and how health information  advisers can assess when the inquirer has  obtained sufficient information for their  particular needs. By sending more  information separately, the health  information adviser provides a compromise  that may work well.    Conclusion  The findings of the study are particularly  relevant to call centres or health information  services that handle a large number of  inquiries. The findings indicate that a simple  prompt sheet helps most health information  advisers to structure their reference  interviews with clients, to ensure that all  relevant aspects of the inquiry are covered.  The prompt sheet is not a substitute for  initial training, but probably helps to  consolidate training. There were some  indications that there are some differences  in practice among the NHS Direct sites and  these may affect the degree of improvement  that may be obtained for some individuals.  Although the experimental group’s  Evidence Based Library and Information Practice 2007, 2:3  56 improvement was significantly better than  that of the control group, the findings in no  way indicate that individual performance is  consistently better. There were differences  within the groups that suggest that some  people may have a better aptitude for  inquiry work. Individual responses to some  inquiry topics vary and some health  information advisers may handle certain  inquiries better than others.      Further research might assess how the  prompt sheet was used, and how frequently  it was used. There was no objective means  of assessing compliance with use of the  prompt sheet by the experimental group,  and it was not possible to be sure that  control group had not accessed the prompt  sheet. Research with a larger cohort, at one  site, might help to ensure that experimental  and control groups are kept separate, as far  as possible, to reduce ‘contamination’. Audit  of live calls would provide another  perspective of the performance, and the  nature of advanced expertise, as the written  test only provided an indicator of true  performance in the conversational turns of a  reference interview.     Declaration of interests, and authorship  During the study the first author (TP) was a  health information manager at one of the  NHS Direct sites. The paper was prepared  by CU, in collaboration with TP, and with  comments from JC.      Acknowledgements  The authors thank the participants for  taking part in the trial, and NHS Direct for  their approval of the study.  We are very  grateful to the reviewers and the editorial  team for their constructive comments on a  previous version of the paper.     A version of this paper was presented at the  4th International Evidence Based  Librarianship Conference, held in Chapel  Hill, North Carolina, USA (May 2007).  See  http://www.eblip4.unc.edu/index.html      Works Cited    Bains, Simon. “Testing Collaborative  Electronic Reference Services: The  Experience of UK University Research  Libraries in the Use of OCLC’s  QuestionPoint.” Virtual Reference  Desk Conference. Chicago, Nov. 2002.  14 Aug. 2007.  .    Baker, Lynda. “Preference for Physicians as  Information Providers by Women with  Multiple Sclerosis: A Potential Cause  for Communication Problems.” Journal  of Documentation 53.3 (1997): 251‐262.    Booth, Andrew, Alan J. O’Rourke and Nigel  J. Ford. “Structuring the Pre‐Search  Reference Interview: A Useful  Technique for Handling Clinical  Questions.” Bulletin of the Medical  Library Association 88.3 (2000): 239‐246.    Bowman, Vibiana. “The Virtual Librarian  and the Electronic Reference  Interview.” Internet Reference Services  Quarterly 7.3 (2002): 3‐14.    Dee, Cheryl. “Chat Reference Service in  Medical Libraries: Part 1‐ An  Introduction.” Medical Reference  Services Quarterly, 22.2 (2003): 1‐13.     Dee, Cheryl. “Chat Reference Service in  Medical Libraries: Part 2 ‐ Trends in  Medical School Libraries.” Medical  Reference Services Quarterly 22.2  (2003): 15‐28.     Dervin, Brenda. “Information Needs and  Uses.” Annual Review of Information  Science and Technology 21 (1986): 3‐33.  http://www.eblip4.unc.edu/index.html http://data.webjunction.org/wj/documents/12629.pdf http://data.webjunction.org/wj/documents/12629.pdf http://data.webjunction.org/wj/documents/12629.pdf http://data.webjunction.org/wj/documents/12629.pdf Evidence Based Library and Information Practice 2007, 2:3  57 Dewdney, Patricia and Gillian Michell.  “Asking ‘Why’ Questions in the  Reference Interview: A Theoretical  Justification.” Library Quarterly 67.1  (1997): 50‐71.    Diamond, Wendy and Barbara Pease.  “Digital Reference: A Case Study of  Question Types in an Academic  Library.” Reference Services Review  29.3 (2001): 210‐218.    Grogan, Denis. Practical Reference Work.  2nd edition. London: Clive Bingley,  1992.    Jennerich, Elaine Z. and Edward J. Jennerich.  The Reference Interview as a Creative  Art. Englewood, CO: Libraries  Unlimited. Inc., 1997.    Kennedy, Lynn, Charles Cole and Susan  Carter. “The False Focus in Online  Searching: The Particular Case of  Undergraduates Seeking Information  for Course Assignments in the  Humanities and Social Sciences.”  Reference and User Services Quarterly  38.3 (1999): 267‐73    Kuhlthau, Carol C. “Inside the Search  Process: Information Seeking from the  User’s Perspective.” Journal of the  American Society for Information  Science 42.5 (1991): 361‐371.    Lee, Ian J. “Do Virtual Reference Librarians  Dream of Digital Reference  Questions?” Australian Academic and  Research Libraries 35.2 (2004): 95‐110.     Mabry, Celia H. “The Reference Interview as  Partnership: An Examination of  Librarian, Library User and Social  Interaction.” Reference Librarian (83/84)  (2003): 41‐56.    Moody, Janette and Elizabeth Carter.  “Application of the Cognitive  Interview by the Reference Librarian.”  Reference and User Services Quarterly  38.4 (1999): 389‐393.    National Audit Office. NHS Direct in  England: Report by the Comptroller  and Auditor General, HC 505 2001‐ 2002. London: National Audit Office,  2002. 14 Aug. 2007  .    Nelson‐Jones, Richard. The Theory and  Practice of Counselling Psychology.  London: Cassell, 1982.    Ross, Catherine S. and Patricia Dewdney.  “Negative Closure. Strategies and  Counter‐Strategies – The Reference  Transaction.” Reference and User  Services Quarterly 38.2 (1999): 151‐163.    Ross, Catherine S., Kirsti Nilsen and Patricia  Dewdney. Conducting the Reference  Interview: A How‐To‐Do‐It Manual for  Librarians. London: Facet Publishing,  2002.    Searle, John R. Speech Acts. Cambridge:  Cambridge University Press, 1969.    Simmonds, Patience L. “The 21st Century  Reference Department: Working to  Provide Quality Service to Users.”  Reference Librarian (81) (2003): 89‐103.    Stover, Mark. “The Reference Librarian as  Non‐Expert: a Post‐Modern Approach  to Expertise.” Reference Librarian  (87/88) (2004): 273‐300.    Straus, Sharon E., W. Scott Richardson,  William S. Rosenberg, Paul Glasziou  and R. Brian Haynes. Evidence‐Based  Medicine: How to Practice and Teach  http://www.nao.org.uk/pn/01%E2%80%9002/0102505.htm%00%00 http://www.nao.org.uk/pn/01%E2%80%9002/0102505.htm%00%00 Evidence Based Library and Information Practice 2007, 2:3  58 EBM. 3rd ed. Edinburgh: Churchill  Livingstone, 2005.    Taui, Cameron K. “Using the Concept of  Teamwork to Increase Why‐Based  Questioning in the Academic Reference  Interview.” Portal: Libraries and the  Academy 3.4 (2003): 663‐670.    Taylor, Robert S. (1968). “Question‐ Negotiation and Information Seeking  in Libraries.” College and Research  Libraries 29.3 (1968):178‐194.     Wildridge, Valerie and Lucy Bell. “How  CLIP Became ECLIPSE: A Mnemonic  to Assist in Searching for Health  Policy/Management Information.”  Health Information and Libraries  Journal 19.2 (2002): 113‐115.    Wilson, Tom D. and Christina Walsh.  Information Behaviour: An Inter‐ Disciplinary Perspective: A Report to  the British Library R&D Department  on a Review of the Literature. London:  British Library, 1996. 14 Aug. 2007 <  http://informationr.net/tdw/publ/infbe hav/>    http://informationr.net/tdw/publ/infbehav http://informationr.net/tdw/publ/infbehav http://informationr.net/tdw/publ/infbehav http://informationr.net/tdw/publ/infbehav