Microsoft Word - ART_Hulme.doc


Evidence Based Library and Information Practice 2006, 1:4 
 

 17

   Evidence Based Library and Information Practice  
 
 
 
Article 
 
Using Cost Effectiveness Analysis; a Beginners Guide 
  
 
Claire Hulme, PhD 
Lecturer / Research Fellow 
Salford Centre for Nursing, Midwifery and Collaborative Research  
University of Salford 
Salford, Manchester, UK 
E‐mail c.t.hulme@salford.ac.uk 
 
 
Received: 23 August 2006    Accepted: 26 September 2006 
 
 
© 2006 Hulme. This is an Open Access article distributed under the terms of the Creative Commons 
Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, 
distribution, and reproduction in any medium, provided the original work is properly cited. 
 
 

Abstract 
 
Objective ‐ This report seeks to describe the key elements of cost effectiveness analysis 
(CEA) and to demonstrate how such analysis may be used in the library environment. 
 
Methods ‐ The paper uses a step‐by‐step approach to walk the non‐economist reader 
through the basics of conducting a cost effectiveness study. It provides an outline of the key 
elements of CEA using examples from the library sector, and it presents a case study of a 
CEA in a hospital library. The case study compares two library services, mediated searching 
and information skills training, to illustrate the application of CEA and to highlight some of 
its limitations. 
 
Results ‐ CEA is a comparative analysis tool. Its key elements include a study question 
regarding a particular process or procedure that identifies both costs and effectiveness; a 
justification of the study’s perspective; evidence of effectiveness; comprehensive 
identification of all relevant costs, and appropriate measurement of costs and effectiveness. 
 
Conclusions ‐ CEA enables comparison of services or interventions regarding particular 
processes or procedures in terms of their costs, and it measures their effectiveness. The 
results can be used to aid decision‐making about service provision.     

 
 

http://creativecommons.org/licenses/by/2.0


Evidence Based Library and Information Practice 2006, 1:4 
 

 18

Introduction 
 
Libraries, like other businesses and 
organisations, have finite budgets. Decisions 
must be made to determine how that budget 
is allocated.  Cost effectiveness analysis 
(CEA) can help that decision‐making 
process, yet few studies that address costs or 
cost effectiveness of library services have 
been published.  A recent review in the 
health care library sector noted that much of 
the literature is descriptive rather than 
empirical, providing little hard evidence of 
the effectiveness or cost effectiveness of 
library services (Brettle, “Costs”).  
 
This paper walks the non‐economist 
through the essentials of conducting a CEA.  
It begins by outlining the key elements of a 
cost effectiveness study. It then illustrates 
how this type of analysis may be carried out 
in the library sector by way of a case study 
situated in a hospital library. The case study 
compares two library services, mediated 
searching and information skills training, to 
illustrate the application of CEA and to 
highlight some of its limitations.  
  
Cost Effectiveness Analysis (CEA) 
 
CEA is a comparative analysis of the costs 
and effectiveness of alternative 
interventions or services. In the library 
environment this could be in areas as 
diverse as competing methods of providing 
training or the use of different databases for 
information retrieval. The basic CEA uses 
standard techniques and methods 
associated with evaluating the effectiveness 
of any service, but it also adds the costs 
associated with the provision of these 
services into the mix.  
 
Hypothesis 
 
The first step in carrying out a CEA, as in 
any study, is the formulation of a clear (and 
‘do‐able’) hypothesis or study question. The 

objective of CEA is to compare two or more 
interventions or services in terms of the 
effectiveness of each and its associated costs. 
The hypothesis, therefore, should include 
both cost and effectiveness elements. A 
further consideration at this point is to 
decide on the perspective for conducting the 
study. Is the library primarily interested in 
determining the costs of a particular 
program in order to provide competing 
services (or even a ‘do nothing alternative’), 
or is the library looking at wider costs? It is 
wise to be clear about the parameters of the 
study, so that results will address the 
specific issues important in making program 
and resource decisions.  
 
Equally important is the decision about 
which services will be compared. Does the 
proposal include all appropriate methods of 
providing the service in question? The CEA 
analysis should enable the library manager 
to determine the most cost effective method 
of achieving a specified goal; all competing 
alternatives need to be included.  For 
example, in a comparison of the 
effectiveness of databases in retrieving 
information, it is important to include all the 
appropriate databases.  Once the study 
question has been formulated, the 
perspective determined, and the alternative 
services selected, it is time to develop the 
study design.  
 
Effectiveness 
 
At this stage it is important to decide 
whether you need to collect data on the 
extent to which the service achieves what it 
sets out to achieve (the effectiveness) as part 
of your study. Think about whether there is 
already robust evidence of the effectiveness 
of the services being compared. For example, 
if previous studies have shown that one 
data retrieval database consistently 
produces better results than another, is it 
necessary to again measure how effective 
each is again? You could just cite those 



Evidence Based Library and Information Practice 2006, 1:4 
 

 19

results and carry out only a cost comparison 
of the competing alternatives. If you do 
consider using existing evidence from 
previous studies be sure that the results are 
transferable to the services you are 
comparing. For example, are the 
demographics of the library customers the 
same?    
 
If you are collecting effectiveness data, what 
type of evaluation will you conduct? Will it 
be, for example, a randomised controlled 
trial (RCT) or a case study? Will you have a 
control group, or will this be a ‘before and 
after’ comparison study in which the sample 
acts as its own control over time? In 
quantitative studies where the RCT is 
typically held as the gold standard (Gold), 
the standard hierarchy of research design 
applies.  
 
Having decided on the study design, the 
next step is to outline the specific outcome(s) 
of the service and what the service tries to 
achieve.  Is there one clear goal that is easily 
quantifiable, or are there multiple outcomes? 
How can you capture those outcomes in a 
quantifiable form? There are a number of 
factors that will help answer these questions. 
The first is whether you use an endpoint or 
an intermediate point; this is best explained 
using an example. Consider information 
skills training. The endpoint of the training 
is likely to be the application of relevant and 
up to date information. An intermediate 
point could be the ability of those trained to 
retrieve relevant and up‐to‐date information 
or an improvement in their information 
retrieval skills. If an intermediate point is 
used, the analysis should show that the 
intermediate endpoint has relevance in its 
own right, or that there is a link between the 
intermediate outcome and the final outcome 
that has been established by previous 
research (Drummond et al.). The 
intermediate outcome should accurately 
reflect the long‐term benefits of the 
intervention.  

After determining the outcome(s), the next 
step is to decide how you will quantitatively 
measure the extent to which the competing 
services achieve their goal(s). Some 
outcomes may be readily quantifiable, but 
often data is less easily expressed 
numerically. In the health sector validated 
measures are often readily available, such as 
measures that quantify changes in health 
related quality of life or measures of anxiety 
and depression. However, these are less 
prevalent for the type of CEA likely to be 
carried out in the library sector, and reviews 
have shown a lack of validated measures to 
quantify improvements in information 
retrieval skills (Brettle, “Evaluating;” 
Koufogiannakis). This often means a heavy 
reliance on the use of a proxy for the 
outcomes being measured, and you should 
consider whether this is appropriate. For a 
study of information skills training, proxies 
might include self‐reported changes in 
students’ information skills (often using a 
Likert scale) and satisfaction questionnaires. 
Using more than one outcome measure may 
confuse your research results. 
 
A further factor to consider is when to take 
those measures. Consider again the example 
of information skills training.  If you are 
using students’ self‐reported improvement 
in their skills, will you ask them to report 
these immediately after the training session, 
after a delay of three months to allow them 
an opportunity to practice their skills, or 
both?  Has their perceived improvement in 
their information skills training persisted 
over time? 
  
Once you have determined the form your 
study will take (e.g., an RCT) and how the 
outcome(s) of your study will be measured, 
the next step is to identify your study 
population, and to select your sample in line 
with normal research guidelines. It is 
important to remember that the sample 
needs to be representative of your 
population. You must also determine an 



Evidence Based Library and Information Practice 2006, 1:4 
 

 20

appropriate size for your sample. There are 
a number of standard research methods 
texts that can guide you (such as Bowling).  
 
Costs 
 
The next component of the CEA that 
requires your attention is determining the 
costs associated with the provision of the 
services included in your study. It is crucial 
that all important and relevant costs be 
identified (Drummond et al.). There are 
three stages in the cost analysis: 
identification, measurement and valuation 
(Raftery).  
 
The next step is to identify all the costs 
associated with the provision of the services 
in your analysis. Costs arising from, or as a 
consequence of, library services will fall to 
the library as service provider, but may also 
fall to the library’s larger organisation and 
to the library customer. The cost to the 
library is likely to include the librarians’ 
time and administrative costs. The costs to 
the library customer may include out‐of‐
pocket expenses such as printing search 
results or photocopying articles.  
 
Having previously set out parameters of the 
study in terms of the perspective you are 
taking, the costs to be included in the study 
will depend in part on the viewpoint or 
perspective of the evaluation. For example, 
if the evaluation is from the viewpoint of the 
library, the cost of out‐of‐pocket 
expenditures to the customer need not be 
included. Even though it may not be 
possible or necessary to measure and value 
all of the costs and consequences of the 
services under comparison, a full 
identification of all important and relevant 
costs should be provided. 
 
Costs to be considered include:  
 
• Staff time associated with the provision of 
the service. This is likely to include, for 

example, preparation time, but it may also 
include the cost to the organisation of staff 
to cover those attending and providing 
training sessions.  

• Cost of consumables, including provision 
of materials, hire of a training location or 
advertising. 

• Overhead costs, such as administrative 
support, computers, and database 
packages. 

• Capital costs that represent investments at 
a single point in time (Drummond et al.), 
such as the cost of a new computer 
training classroom. 

• Out‐of‐pocket expenses, such as travel 
costs or child care costs, to enable students 
to attend a training course. 

 
After identifying all important and relevant 
costs, the inclusion and exclusion criteria for 
the CEA will lie in the bounds of the study 
perspective. Costs may be excluded from an 
evaluation because they are common to both 
services or are relatively small. These should 
be identified, and their exclusion justified. 
Similarly, if inclusion of particular costs will 
only confirm the results obtained without 
them, then they may be omitted. Once again, 
reference should be made to them in the 
study, including the reason for their 
exclusion. 
 
Measurement and Valuation 
 
Once you have identified all costs and 
decided on your inclusion and exclusion 
criteria, you must decide how you will 
measure and value them. Two strategies, 
representing each end of the spectrum, can 
be useful in measuring and valuation: 
micro‐costing and gross‐costing (Raftery), or 
a combination of both may be used.  
Micro‐costing is a ‘bottom up’ method of 
costing that involves taking a detailed 
inventory of all the separate costs of items 



Evidence Based Library and Information Practice 2006, 1:4 
 

 21

involved. This may take the form of, for 
example, reporting on and quantifying all 
activities associated with a particular 
activity. Thus it may include the time spent 
by each individual involved in the activity, 
either directly or indirectly. This type of 
analysis tends to be costly and runs the risk 
of being specific to particular contexts 
(Raftery). Although more laborious than the 
gross‐costing method, micro‐costing 
provides a more specific insight into the 
relationships between characteristics of 
activities and their costs, the economies of 
scales of a production process, and the 
relative importance of separate activities 
(Drummond and McGuire).  
 
Gross or top‐down costing allocates a total 
budget to specific services (Raftery). Thus 
the library may have a budget for training 
that is apportioned to specific training 
activities. This method provides less precise 
estimates (Drummond et al.), but it has the 
advantages of consuming fewer resources 
and providing better opportunity for 
generalisation (Drummond and McGuire).  
 
Data on quantities (e.g., training time or 
computer records) can, in some situations, 
be directly observed or recorded. When data 
cannot be obtained directly, or if there is no 
data or only imprecise data, then you may 
be required to make an estimate or informed 
guess. You should clearly outline the basis 
for any estimates. 
 
Having identified and measured the 
resources associated with a service, the next 
step is to assign a price to those resources‐‐
to value them. For gross costing, the 
valuation for the service provider is inherent 
(from the budget). In micro‐costing, 
financial records such as pay scales can be 
used to value, for example, the time of those 
involved or the cost to the library of a 
database. Micro‐costing can produce very 
context‐specific data.  
 

One area to consider when looking at how 
to value resources is that of the opportunity 
cost. The best way to describe opportunity 
cost is through an example: A library staff 
member is training users. Using his or her 
time this way means the library is forfeiting 
the performance of alternative tasks that 
might have been performed instead. In 
addition, the library will lose any benefits 
those alternative tasks might have brought. 
That is, the use of resources in one way prevents 
their use in others (Palmer 1551). Thus, 
opportunity costs are the benefits lost because 
the next best alternative was not selected (Gold 
403). Valuing opportunity cost is difficult, 
however, and unit costs are used more 
frequently (Palmer).  
 
Whatever the sources of the values you 
place on items included in your study, you 
should be clear and explicit about that 
valuation. Although it sounds obvious, 
don’t forget to include the date (year) to 
which the valuation refers, as prices change 
over time. 
 
The time period over which you track costs 
is also important. For example, when 
comparing two training services that have a 
common initial outcome but one requires 
students to have further training in the 
future, the time period should reflect the 
costs of this additional training. If training 
costs are spread over a number of years, the 
costs should be discounted. Discounting is 
the process of converting a future sum of 
money to its present value.  
 
In summary, the costs included in the study 
will depend on the study’s perspective. The 
exclusion of any costs from the analysis 
must be justified. Detail quantities and 
prices separately, and give costs in both 
their discounted and undiscounted forms 
when applicable.  



Evidence Based Library and Information Practice 2006, 1:4 
 

 22

Analysis and Presentation of Results 
 
After collecting the data, it is time to analyse 
the results. If you have used estimates for 
components of the costs or outcomes, you 
may wish to take into account how sensitive 
the study results are to these estimates. A 
sensitivity analysis can determine this. 
Briggs and Gray outline a number of 
methods by which the sensitivity analysis 
may be carried out. The most common 
methods are one‐way analysis and multi‐
way analysis. An alternative, although far 
less robust way to take account of estimates, 
is to present confidence intervals. (A 
confidence interval specifies a range of 
values that, with a known degree of 
certainty, includes the unknown population 
mean. It is calculated from the sample data.) 
  
How should you present your findings? 
Your results are likely to tell you the total 
costs of the service provided and may be 
examined in detail to determine, for 
example, average cost per training session. 
Similarly, depending on the study design, 
you might compare outcomes of the two 
services, or changes in outcomes pre‐ and 
post‐training. If there are multiple outcome 
measures, none of which you consider to be 
the primary outcome, this would determine 
how the results are presented. If the results 

show one of the services to be less costly 
and more effective in all outcomes, this can 
be said to dominate and is therefore the 
most cost effective. If each of the services 
included has varying degrees of 
effectiveness among multiple outcomes and 
none is dominant, then the reader is left to 
make his or her own judgement regarding 
the most important outcome. CEAs with no 
single primary outcome and multiple 
outcomes measures are known as Cost 
Consequence Analyses (CCA).   
 
If there is one primary outcome, you might 
present your results as an incremental cost 
effectiveness ratio. The incremental cost 
effectiveness ratio is the difference in costs 
between alternatives to the difference in 
effectiveness between the same alternatives. 
Stated another way, the incremental cost 
effectiveness ratio compares the additional 
costs that one service or programme 
imposes over another, with the additional 
effects, benefits or utilities it delivers. By 
using incremental cost effectiveness ratios it 
is possible to determine, for example, how a 
budget could be spent between two or more 
services. 
 
This outline of the key elements of a cost 
effectiveness analysis is summarised in  
Box 1. 
 

 
 
• The hypothesis or study question should include both costs and effectiveness. 
• The perspective or viewpoint of the study needs to be justified; the nature of the outcomes 

resulting from the intervention should all be clear.  
• The study design needs to be developed. 
• There should be evidence of the effectiveness of the services being compared; all outcomes 

should be identified. 
• The measurement of effectiveness should reflect the outcomes; measures should be 

appropriate to the form of the study, relevant, and validated where possible. 
• All costs should be identified and in line with the perspective of the study; inclusion and 

exclusion criteria should be identified. 
• The measurement of costs included in the study may use micro‐costing (considered most 

accurate) or gross‐costing (provides greater opportunity for generalising) methods ‐‐ or a 
combination of both. The method should be clearly outlined. 



Evidence Based Library and Information Practice 2006, 1:4 
 

 23

• Costs and outcomes should be tracked over an appropriate period of time and provide an 
accurate reflection of actual practices. 

• Where costs are spread over a number of years, they should be discounted.  
• Sensitivity analysis should be used to take account of uncertainty in any estimates, be they 

costs or consequences.  
 
 
Box 1. Key elements of a cost effectiveness analysis 
 
 
This case study illustrates how CEA 
methods may be used within health care 
libraries and some of the difficulties that 
may be faced. 
 
Case Study 
 
The case study used to illustrate CEA within 
the library sector is part of a larger study 
reported in full elsewhere (Brettle, “Costs;” 
Brettle, “Effectiveness”). The study was 
carried out in hospital based health care 
libraries across the North West of England 
in the spring of 2005. The libraries’ customer 
base is health care workers. The purpose of 
the larger study was to explore the 
effectiveness and cost effectiveness of 
different methods of providing information 
for patient care. Two strategies were 
employed by the libraries to achieve this 
aim. The first involved library staff 
providing information and mediated 
searches directly to clinicians on request; the 
second strategy involved librarians training 
clinicians to search for information 
themselves. A baseline survey of the 102 
libraries in the region conducted in 2004 
showed libraries typically provided both 
services (Brettle, “Baseline”). 
 
The CEA was incorporated into the larger, 
questionnaire‐based study Of the 102 
libraries in the region, 26 agreed to 
participate in the study. In each site 
questionnaires exploring both mediated 
searching practices and information skills 
training were distributed to all library staff  
 

 
(115), dedicated trainers (15), and to a 
random sample of 30 clinicians (780). All  
CEA data were collected from these 
questionnaires and showed the 26 library 
sites were representative of the population 
in terms of the numbers of staff, seats, and 
computer terminals when compared with 
the baseline survey data.  
    
The CEA study question compared two 
library services: Which is more cost effective – 
information skills training or librarian mediated 
searching? The UK North West Health Care 
Libraries Unit (HCLU), a strategic regional 
unit interested in the effectiveness and cost 
implications of providing both services, 
commissioned the overall study. The study 
was carried out from the perspective of the 
library as service provider. 
 
Effectiveness 
 
In respect of the effectiveness of the two 
services, the endpoint could be interpreted 
as provision of up‐to‐date and relevant 
information for patient care to clinicians, 
either directly (mediated searches) or 
indirectly, by enabling them to access that 
information themselves. However, it could 
be argued that provision of information is 
not an endpoint in itself, and that the most 
important outcome is the use or influence of 
that information in patient care. Because the 
larger study was questionnaire‐based, the 
only feasible method by which to measure 
the effect of information derived from 
searches on patient care was to ask the 
clinicians’ their perceptions. In addition, 



Evidence Based Library and Information Practice 2006, 1:4 
 

 24

clinicians were asked how satisfied they 
were with the results of the searches. It was 
anticipated that this would be a proxy for 
search quality. Thus the measures included: 
 
• Health professionals’ perception of the 
effect of information from librarian 
mediated searches on patient care.  

• Health professionals’ perception of the 
effect of information from their own 
searches on patient care.  

• Health professionals’ satisfaction with 
librarian mediated searches.  

• Health professionals’ satisfaction with 
their own searches.  
 
All used a five‐point Likert scale (from 
highly positive to highly negative in the first 
two measures and from very satisfied to 
very dissatisfied in the latter two). 
 
Costs 
 
The cost analysis used a micro‐costing or 
‘bottom up’ method. The questionnaire 
asked respondents to provide details of 
mediated searches and information skills 
training. Resource use was identified and 
measured using the completed 
questionnaires from librarians and health 
professionals. Questionnaires contained 
demographic details including professions 
and grades (from national grade scales) and 
asked respondents for details of mediated 
searches requested or performed and about 
training they had undertaken or attended.  
 
Inclusion and Exclusion Criteria 
 
It was assumed that resources such as 
information technology facilities, 
administration, and other overhead costs 
were common to all settings, and they were 
excluded from the analysis. By this we mean 
these resources would need to be available if 
only mediated searches were conducted (no 
information skills training); or if only 
information skills training was carried out 

(no mediated searches); or if both mediated 
searches and information skills training 
were carried out. It was also assumed that 
existing library facilities and resources were 
used, and that no additional costs would be 
incurred for a training room or computer 
equipment, for example. The cost of training 
materials such as handouts was believed to 
be relatively small and was excluded from 
the analysis.  
 
The analysis assumed staff time was the 
primary resource, and as such, the cost 
element of the analysis was based solely on 
this resource. Staff time identified from the 
questionnaires included these items: 
 
• Time spent by the librarian conducting 

mediated searches. 
• Time spent by health professionals 

sitting with the librarian during 
performance of mediated searches. 

• Time spent by health professionals 
performing literature searches. 

• Time spent by the librarian delivering 
information skills training and in 
training‐related activities. 

• Time spent by health professionals in 
information skills training. 

 
All staff time was valued using 2005 prices 
and was based on salary cost only; the 
analysis excluded ongoing costs (e.g., 
national insurance payments) and overhead 
costs. Library staff time values were derived 
from their library grades as reported on the 
questionnaires. National pay scales were 
used to derive per hour estimates, assuming 
a 46‐week work year and a 36‐ hour work 
week. Similarly, illustrative salaries were 
estimated by profession for clinicians using 
data from the Unit Cost of Health and Social 
Care 2004 (Curtis).  Each was inflated in 
order to incorporate increases in national 
salary scales that were already reflected in 
the library staff salary scales. 

 
 



Evidence Based Library and Information Practice 2006, 1:4 
 

 25

  Mediated 
Searches 
Number (%) 

Clinicians’ Own 
Searches ‐ 
Post Training 
Number (%) 

Information from search has a positive / 
highly positive effect on patient care* 
 

83/132 (62.88%)  66/103 (64.08%) 

Very satisfied / satisfied with search results*  116/132 (87.88%)  64/103 (62.14%) 
 

 
Table 1. Effectiveness of searching   
*For ease of reporting, the results have been presented categorically. 
 
 

Training Method  Mean Time, Including Preparation and 
Related Activities 

Average Cost 

One‐on‐one pre‐arranged 
training 
 

1.49 hours 
 

£19.92 

One‐on‐one ad hoc training  1.25 hours  £13.47 
 

Group training  
(<20 trainees per session) 
 

2.55 hours  £32.33 

 
Table 2. Cost of information skills training to the library 

 
 
Results 
 
Each of the outcome measures and costs was 
presented separately. In brief, the study     
found that 54% (132/243) of the clinicians 
had requested mediated searches, and 62% 
(44/71) of the library staff carried out 
mediated searches. With regard to training, 
42% (103/243) of the clinicians had received 
information skills training from their 
hospital library, and 53% (38/71) of the 
library staff had delivered training. Table 1 
shows little difference was seen in the 
perceived effect on patient care resulting 
from mediated search results and their own 
search results. However, the proportion of 
clinicians who were very satisfied or 
satisfied with the results from mediated 
searches (87.88%) was higher than that 
expressed for clinicians’ own searches  

 
 
(62.14%). Librarians from different position 
grades conducted the mediated searches. 
The median grade of those carrying out 
searches was used to calculate the per hour 
cost of these searches. This figure was then 
multiplied by the mean time of a search 
(1.08 hours) to determine the mean cost of a 
mediated search to the library‐‐£14.44.   
 
The cost of training was calculated using the 
same method. However, the analysis took 
into account the different training formats to 
reflect differences in the average delivery 
time of each and differences in the grades of 
those delivering the training (and therefore 
differences in salary). The data showed that 
training delivered to groups was on average 
longer and was delivered by librarians of a 
higher grade than other formats of training  



Evidence Based Library and Information Practice 2006, 1:4 
 

 26

 
Profession  Cost per Hour  Total Cost per 

Search 
Staff nurse  £11.84  £15.15 
Ward manager  £15.61  £19.97 
Physiotherapist, occupational therapist, 
radiographer (professions allied to medicine) 

£16.20  £20.73 

Consultant (Physician)  £44.46  £56.89 
 
Table 3. Cost of clinicians’ searches  
 

(Table 2). While group training is the most 
costly option, the cost falls when considered 
on a ‘per person trained’ basis. For example, 
if 10 people attend a training session, the 
average cost would be £3.23 per person. 
 
The mean cost of a search carried out by a 
clinician (once trained) was calculated using 
the same methods. The analysis used 
professions representative of the sample (i.e., 
staff nurse, ward manager, therapist, and 
consultant) and their associated salary scales. 
The average time spent on a search (1.28 
hours) was used to calculate the mean cost 
for each profession (Table 3).  It should be 
noted that although these costs do not fall to 
the library, they are helpful for illustrative 
purposes. 
 
Discussion 
 
Although there was little difference between 
the perceived effect on patient care from 
either mediated searches or the clinicians’ 
own searches, there was clearly a higher 
level of satisfaction with mediated search 
results. In addition, mediated searches were 
found to be less costly than any of the forms 
of training. This seems to clearly indicate 
that mediated searching is most cost 
effective for the library, and that funding 
should be shifted from training to mediated 
searches. However, while budget allocation 
decisions can be informed by the analysis, 
this conclusion should be treated with 
caution, as there are a number of other 

factors to be taken into account. These are 
explained below. 
 
One of the first decisions to make when 
carrying out a CEA is to determine the 
perspective from which to conduct the 
study. This case study reported from the 
libraries’ perspective, but what happens to 
our conclusions if the wider perspective of 
the health care provider (the hospital, in this 
case) is considered? The raw data showed 
that more than one in three mediated 
searches was carried out with the clinician 
present. Adding their time to the search 
would increase the mean cost of the search 
to £38.23. Similarly, adding the time spent 
by clinicians attending training sessions 
increases the mean costs of each type of 
training. The data showed that while ad hoc 
one‐on‐one training was the least costly 
method of training, clinicians were likely to 
have attended more than one of these 
sessions (mean number of sessions 2.67), 
thus increasing their cost to the library when 
compared with other formats. An important 
aspect of whether to include clinicians’ time 
to train or carry out mediated searches is 
whether their absence from their workplace 
for this activity requires their tasks to be 
covered by additional members of staff? If 
not, is there any additional cost to the 
hospital? 
 
The results were further confounded by the 
insight that the majority of clinicians who 
had been trained in searching also requested  



Evidence Based Library and Information Practice 2006, 1:4 
 

 27

mediated searches. This poses the question 
of whether training clinicians to do their 
own searches leads to a decrease in the 
number of mediated searches requested? Or 
does this increase the number of searches 
(whether by library staff or clinicians) 
carried out overall? If there is an increased 
number of searches, does this lead to an 
improvement in patient care?  A related 
issue was the small proportion of clinicians 
with limited or no training who performed 
their own searches. This calls into question 
the cost effectiveness of providing skills that 
are not utilised. 
 
Despite there being little difference in the 
mean times required for either library staff 
or clinicians to perform searches, this was in 
part explained by the maximum time each 
group could or would allocate to a search. 
This may also help to explain the difference 
between groups in terms of their satisfaction 
with search results. The larger study gave 
insight into many of the confounding factors 
discussed above, particularly the qualitative 
responses which provided explanations for, 
for example, the time allocated to searches. 
 
A final area of importance to note is that this 
CEA was based on retrospective, self‐
reported data, and it relied on respondents’ 
recollections that should be considered as 
estimates. Further analysis is required to 
evaluate the sensitivity of the study results 
to those estimates. 

Conclusion   
 

In common with other organisations and 
sectors, libraries have competing demands 
placed on their budgets. CEA provides a 
tool by which comparative evidence on the 
cost and effectiveness of services can be 
produced in order to inform budget 
allocations and to determine which services 
to provide. However, it should be noted that 
decision‐making is complex. While the cost 
and effectiveness of services are important, 
there are likely to be factors outside the 
analysis that also affect decisions. These 
may include, for example, anticipated 
advances in technology, planned re‐
configuration of services, or legislative 
requirements. None should be viewed in 
isolation; all should inform budget 
allocation decisions.  
 
This paper presents the basics of CEA.  An 
explanation and description of the key 
elements of the analysis and examples 
utilising familiar situations introduce the 
reader to ideas for using CEA in the 
workplace. While the paper provides an 
introduction to CEA, there are a number of 
texts that go into greater theoretical and 
technical detail on conducting and critically 
appraising CEAs. Box 2 presents several 
useful CEA resources.  
 

 
 
Drummond, Michael F, and Tom O Jefferson. “Guidelines for Authors and Peer Reviewers of 
Economic Submissions to the BMJ.” BMJ. 313.7052 (1996): 275‐83. 
 
Gold, Marthe R., Joanna E. Siegel, Louise B. Russell, and Milton C. Weinstein. Cost Effectiveness 
in Health and Medicine. Oxford: Oxford University Press, 1996. 
 
Hulme, Claire. “A Practitioner’s Guide to Appraising Cost Effectiveness Papers.” Nurse 
Researcher. 8.4 (2001): 76‐86. 
 
 



Evidence Based Library and Information Practice 2006, 1:4 
 

 28

Kobelt, Gisela.  Health Economics: An Introduction to Economic Evaluation. London: Office of 
Health Economics, 2002.  
 
University of Salford School of Nursing, Health Care Practice R&D Unit. “Evaluation Tool for 
Critical Assessment of an Economic Evaluation of a Health Intervention.” 25 Aug. 2005.  30 Nov. 
2006 <http://www.fhsc.salford.ac.uk/hcprdu/economic.htm>.  
 
University of York. Centre for Reviews and Dissemination. Review Methods and Resources. 
“What is an economic evaluation?” 28 Nov. 2006. 30 Nov. 2006. 
<http://www.york.ac.uk/inst/crd/crdreview.htm>. 
 
 
Box 2. Sources of information on CEA 
 
 
Works Cited 
 
Bowling, Ann. Research Methods in Health.  

Investigating Health and Health 
Services. Buckingham; Briston, PA: 
Open University Press, 1997.  

 
Brettle, Alison, Claire Hulme, and Paula 

Ormandy. Effective Methods of 
Providing Information for Patient Care: 
EMPIRIC Project – Baseline Data 
Collection Survey.  Salford, University 
of Salford, 2004.  Contact 
a.brettle@salford.ac.uk for copies. 

 
Brettle, Alison. “Evaluating the 

Effectiveness of Information Skills 
Training: What the Literature Says.”  
Health Libraries Group Conference, 
Eastbourne, UK. 12 July 2006.   

 
Brettle, Alison, Claire Hulme, and Paula 

Ormandy.  The Costs and Effectiveness 
of Information‐Skills Training and 
Mediated Searching: Quantitative 
Results from the EMPIRIC Project. 
Health Information and Libraries 
Journal 23.4 (2006): 239‐47. 

 
Brettle Alison, Claire Hulme, and Paula 

Ormandy.  “Effectiveness of 
Information Skills Training and  
 

 
Mediated Searching: Qualitative 
Results from the EMPIRIC Project.” 
Health Information and Libraries 
Journal, 24 (2007): in press. 

 
Briggs, Andrew H., and Alistair M. Gray. 

“Handling Uncertainty When 
Performing Economic Evaluations of 
Health Care Interventions.” Health 
Technology Assessment. 3.2 (1999): 1‐
134. 

 
Curtis, Lesley, and Ann Netten, comps. Unit 

Costs of Health and Social Care 2004.  
Kent: Personal Social Services Research 
Unit, University of Kent, 2004. 4 Dec. 
2006 <http://www.pssru.ac.uk>. 

 
Drummond, Michael, and Alistair McGuire. 

Economic Evaluation in Health Care ‐ 
Merging Theory with Practice. Oxford: 
Oxford University Press, 2001. 

 
Drummond, Michael F, Bernard J. O’Brien, 

Greg L. Stoddart, and George W. 
Torrance. Methods for the Economic 
Evaluation of Health Care 
Programmes. 2d ed. Oxford: Oxford 
University Press, 1997. 

 
Gold, Marthe, Joanna E. Siegel, Louise B. 

Russell, and Milton C. Weinstein. Cost 

http://www.fhsc.salford.ac.uk/hcprdu/economic.htm
http://www.york.ac.uk/inst/crd/crdreview.htm
http://www.pssru.ac.uk


Evidence Based Library and Information Practice 2006, 1:4 
 

 29

Effectiveness in Health and Medicine. 
Oxford: Oxford University Press, 1996. 

 
Kobelt, Gisela.  Health Economics: An 

Introduction to Economic Evaluation. 
2d ed. London:  Office of Health 
Economics, 2002.  

 
Koufogiannakis, Denise, and Natashe Weibe.  

“Effective Methods for Teaching 
Information Literacy Skills to 
Undergraduate Students: a Systematic 
Review and Meta‐Analysis.”  Evidence 
Based Library and Information Practice, 
1.3 (2006): 3‐43. 4 Dec. 2006 
<http://ejournals.library.ualberta.ca/ind
ex.php/EBLIP>. 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Palmer, Stephen, and James Raftery. 
“Economic Notes: Opportunity Cost.” 
BMJ. 318.7197 (1999) 1551‐2. 

 
Raftery, James. “Costing in Economic 

Evaluation.” BMJ. 320.7249 (2000): 1597. 
 
 

 
 
 

 
 
 
 

 
 
 

http://ejournals.library.ualberta.ca/ind