Evidence Based Library and Information Practice   


Evidence Based Library and Information Practice 2010, 5.2 
 

   Evidence Based Library and Information Practice  
 
 
 
Article 
 
The Balanced Scorecard: A Systemic Model for Evaluation and Assessment of Learning Outcomes? 
 
Tom Bielavitz 
Assistant University Librarian/Assistant Professor 
Portland State University Library 
Portland, Oregon, United States of America 
Email: bielavit@pdx.edu 
 
Received: 1 Dec. 2009          Accepted: 4 May 2010 
 
 
 2010 Bielavitz. This is an Open Access article distributed under the terms of the Creative Commons‐

Attribution‐Noncommercial‐Share Alike License 2.5 Canada (http://creativecommons.org/licenses/by‐nc‐
sa/2.5/ca/), which permits unrestricted use, distribution, and reproduction in any medium, provided the original 
work is properly attributed, not used for commercial purposes, and, if transformed, the resulting work is 
redistributed under the same or similar license to this one. 
 
 

Abstract 
 
Objective – The goal of this paper is to explore using Kaplan and Norton’s balanced 
scorecard methodology as a systemic model for outcomes assessment. The 
expectations of academic accrediting agencies have shifted from measurement of 
inputs and outputs to that of the library’s impact on learning and demonstrating 
accountability. Recent literature has presented methods for performing specific 
aspects of outcomes assessment. However, the scorecard methodology may provide a 
systemic advantage beneficial to library administrators and managers. 
 
Methods – This paper provides a selective review of outcomes assessment in 
academic libraries and a description of the balanced scorecard methodology, focusing 
on its relevance to assessment and demonstration of accountability.  

 
Results – A theoretical scenario is outlined, including examples of a scorecard used 
for outcomes assessment. For each example, the benefits of using a systemic approach 
are examined. 

 
Conclusions – Using a systems‐thinking approach to outcomes assessment may 
provide significant advantages to library administrators and managers. As the model 
includes traditional methods of outcomes assessment, the scorecard approach adds 
elements of process improvement, identification of the inputs and outputs that create 
outcomes, and a tool for communicating accountability for resources. 

 
 

 
 

35



Evidence Based Library and Information Practice 2010, 5.2 
 

Introduction 
 
Each year, academic libraries employ 
librarians to teach students research skills, to 
purchase materials and license databases, and 
to create and maintain the technological and 
physical infrastructure which provides access 
to their resources. Statistics show the number 
of students attending instructional sessions, 
using the catalog and library resources, or 
how many are entering the building, but none 
of these measure how the students’ research 
skills have improved. The Association of 
College and Research Libraries (ACRL) Task 
Force on Academic Library Outcomes 
Assessment Report (1998)defined outcomes as 
“the ways in which library users are changed 
as a result of their contact with the libraryʹs 
resources and programs” (Section II, para. 2). 
How do we know if the library’s human and 
financial resources are actually contributing to 
student learning outcomes? How do library 
managers know, with any precision, which 
factors actually influence student learning? 
How does the library demonstrate their 
impact on learning to accrediting agencies and 
campus administrators?  
 
In the conclusion to Dugan and Hernon’s 
“Outcomes Assessment: Not Synonymous 
with Inputs and Outputs” (2002) they write, 

…the profession needs to develop 
knowledge, measures, and data‐
collection techniques that cut across 
perspectives. The result is a more 
complete view of a “jig‐saw” puzzle 
entitled “the library as a partner and 
contribution to achievement of the 
institutional mission.” (p. 380).  

To extend this metaphor, a holistic, systems 
approach can view the entirety of the 
assessment puzzle rather than a specific piece 
of the puzzle. Such a technique can be found 
in Kaplan and Norton’s Balanced Scorecard 
technique, first outlined in “The Balanced 
Scorecard: Measures that Drive Success” 
(1992), which can be used for identifying the 
cause and effect relationships between inputs 
(budget allocations, training, personnel), 
outputs (projects, instructional sessions), and 
the performance drivers that have an impact 

on learning outcomes. The balanced scorecard 
process can help administrators make data‐
driven decisions regarding how to allocate 
resources and structure programs to create 
learning outcomes. This paper will provide a 
theoretical scenario of a balanced scorecard 
used to structure an academic library’s 
information literacy program with the goals of 
creating and measuring learning outcomes. 
 
Literature Review 
 
This paper is concerned with two areas of 
research: the balanced scorecard and learning 
outcomes assessment. As background, this 
paper will first provide a brief review of the 
balanced scorecard, then examine the use of 
the balanced scorecard in academic libraries, 
and finally, provide an overview of the current 
assessment environment in academic 
librarianship.  
 
The balanced scorecard was developed 
through David Kaplan and Robert Norton’s 
(1992) research into corporations’ primary 
reliance on financial data as a measure of 
success, and that financial measures indicate 
past success, but do not assist in predicting 
future success (pp. 71‐79). The common 
metaphor is that using financial measures to 
steer a corporation is like driving by looking 
through the rear view mirror.   
 
Kaplan and Norton created a “scorecard” 
system based on evaluating the organization’s 
performance in four perspectives: Financial, 
Customer, Internal Business Processes, and 
Learning and Growth. Measuring the 
organization in this manner provides a 
“balanced” view, rather than the traditional 
financial summary. The balanced scorecard 
also calls for a balance between types of 
measures, and creating a scorecard entails 
identifying the cause and effect relationships 
between inputs, outputs, and outcomes.  
 
Kaplan and Norton (1996) place great 
emphasis on identifying performance drivers, 
also called lead indicators, which are the 
inputs and outputs that have the effect of 
driving an organization towards its strategic 

 
 

36



Evidence Based Library and Information Practice 2010, 5.2 
 

goals; i.e., performance drivers create 
outcomes (pp. 31‐32). The balanced scorecard 
literature generally includes user satisfaction 
as an outcome. While the ACRL Task Force 
Report (1998) agrees that satisfaction is an 
outcome, it downplays the importance of 
satisfaction as “a facile outcome…too 
unrelated to more substantial outcomes that 
hew more closely to the missions of the 
libraries and the institutions they serve” 
(Section II, para. 2). In this paper’s application 
of the scorecard to learning outcomes, 
satisfaction measures are included, but 
reinforced by complementary outcome 
measures.   
 
The balanced scorecard’s four perspectives 
give managers a holistic view of a complex 
organization, allowing them to see the 
interactions and interdependencies of the 
component parts and how they contribute to 
the whole. Like any system, the scorecard 
provides a closed‐loop cycle of creating 
objectives and measures, implementing them, 
gathering and analyzing data, and then 
refining (and perhaps discarding and 
replacing) the objectives and measures. 
 
Originally designed for the corporate sector, 
Kaplan and Norton have cited Calabro (2001) 
that half of all US Fortune 500 companies use 
the balanced scorecard, as do 40‐45 percent of 
European Fortune 500 companies (para. 9). A 
key element of the scorecard’s appeal to 
corporate executives and non‐
profit/government administrators is its utility 
in clearly communicating an organization’s 
accountability. Administrators in the 
governmental and non‐profit sectors such as 
the American Institute of Certified Public 
Accountants (United States), the Society of 
Certified Management Accountants (Canada), 
recommended the technique after the passing 
of the 2002 Sarbanes‐Oxley Act (SOX), citing 
the scorecard’s utility for demonstrating 
accountability. SOX is a legislative reaction to 
the accounting scandals concerning Enron, 
Adelphia, and others, the goals of which are to 
improve corporate accounting controls, 
increase regulations, and restore consumer 
confidence (Niven, 2003; Office of Economic 

Analysis, United States Securities and 
Exchange Commission, 2002).   
 
Adopters of the balanced scorecard in 
academic libraries have implemented Kaplan 
and Norton’s process differently, 
experimenting with how it could be used. 
Lloyd (2006) outlined the scorecard’s 
applicability to academic libraries and 
summarized the process for creating a 
scorecard. Lloyd identified several critical 
success factors in implementing a scorecard, 
including establishing a clear mission; 
ensuring strong leadership support, selecting 
the correct measurements, communicating the 
performance results to constituencies, 
strategically motivating staff, and making 
evidence based decisions based on scorecard 
results.   
 
Poll (2000) aimed to “establish an integrated 
controlling system and to collect and evaluate 
performance as well as cost data for 
management decisions” (p. 709). Poll focused 
on standardized data sets, such as ISO/DIS 
2789 and ISO 11620 that would allow libraries 
to benchmark their scorecards. Self (2003) 
implemented a scorecard at the University of 
Virginia Library with the goals of gaining 
control of their data‐collection efforts, setting 
measurable goals, and for the “intelligibility” 
of the methodology (para.6). Kettunen (2009) 
used the scorecard concept as a framework for 
evaluating the strategic plans for twenty‐nine 
Finnish libraries, though not for the actual 
creation of the libraries’ strategic plans. 
Gerryts and Pienaar (2000) utilized the 
scorecard as a tool for managing 
organizational renewal. Hernon and Dugan’s 
“An Action Plan for Assessment in Your 
Library” (2002) discussed the scorecard as a 
tool for process improvement (p. 68).   
 
In the last quarter century, higher education 
accreditation has moved towards measuring 
institutional quality in terms of learning 
outcomes. The ACRL Task Force (1998) stated 
that “the association has no statement on 
outcomes assessment, and that its standards, 
largely written as output measures, are out of 
step with the practices and philosophy of 

 
 

37



Evidence Based Library and Information Practice 2010, 5.2 
 

regional and accrediting agencies and state 
higher education agencies” (Section I, para. 2). 
Ten years later, academic libraries still seek 
improved means of communicating the impact 
of their work, and are at risk if they are not 
able to substantiate the impact of their 
resources on the individual users. Indeed, in 
Lakos’s (2007) interviews with library 
directors, he found that “some directors 
identified interest from their campus 
administrators in impact data related to 
learning outcomes but acknowledged that the 
library is not yet viewed as central to these 
outcomes” (p. 445).    
 
The 1998 Task Force made recommendations 
to the ACRL Board:  

1. Policy: …the ACRL Board adopt an 
explicit policy of endorsing the 
development and use of outcomes 
assessment among academic libraries. 

2. Accreditation: …ACRL foster 
continued cooperation with the 
regional and specialized accrediting 
agencies. (Section V) 
 

Despite the recommendations of the ACRL 
Task Force, libraries continue to largely rely 
on input and output measures. The ACRL 
Task Force states, “…the purpose of all 
inputs…is to achieve outcomes” (Section II, 
para. 6). Inputs may identify the resources that 
create outcomes, and outputs may illustrate 
the use of resources which are used in creating 
outcomes, but neither is effective in actually 
measuring learning outcomes. Librarians 
should continue to collect the standard 
input/output data for various purposes, such 
as ongoing longitudinal studies and surveys, 
but must be more effective in illustrating the 
correlation between inputs and how they 
manifest in useful outputs and outcomes.     
 
In the United States, the prominent 
professional library organizations have 
pursued very different avenues of research in 
assessment. Whereas the ACRL Task Force 
focused on assessment of learning outcomes 
for the purposes of accreditation, the ARL 
New Measures Initiatives do not address 
student outcomes, learning outcomes, or 

connect any of the Measures to accreditation. 
Rather, ARL’s StatsQUAL program includes 
LibQual+, which focuses on user satisfaction; 
ARL Statistics, which collects data on the 
input and output measures of the member 
libraries; E‐Metrics, measuring electronic 
resources, and ClimateQUAL, which measures 
organizational climate and diversity.  
 
Aims 
 
Dugan and Hernon (2002) identified the 
relationship between evaluation and 
assessment: 

Outcomes assessment measures the 
contributions that the library makes to 
the institution’s educational mission 
as a whole. Evaluating the process of 
conducting assessment on student 
learning outcomes is designed to 
improve library services through the 
application of the feedback loop 
within a typical systems planning 
model. It is intended to identify areas 
in which the library could improve the 
methodologies deployed as the means 
to affecting learning changes in the 
individual. (p. 378) 

Using a theoretical scenario, this article will 
propose an approach using the balanced 
scorecard that helps library administrators 
identify the inputs (financial and human 
resources) that impact learning outcomes, 
establish a system for improving the 
instructional process, and provide a tool to 
communicate the value that the library 
contributes towards the institution’s learning 
goals. Those interested in evidence based 
practice in librarianship should find the 
balanced scorecard relevant for its focus on 
gathering and using data to produce desired 
outcomes. This paper will illustrate how the 
scorecard facilitates data‐driven evaluation of 
the learning process, leading to improving the 
learning outcomes of users of academic 
libraries. 
 
This article will rely on the definitions of 
outcomes, inputs, outputs and standards as 
defined in the ACRL Task Force Report (2002): 

 
 

38



Evidence Based Library and Information Practice 2010, 5.2 
 

 
 

39

Outcomes: the ways in which library 
users are changed as a result of their 
contact with the library’s resources 
and programs. 
 
Inputs: the raw materials of a library 
program‐ the money, space, collection, 
equipment, and staff out of which a 
program can arise.  
 
Outputs: quantify work done, ie: 
number of books circulated, number 
of reference questions answered. 
(Section II) 

 
Components of a Balanced Scorecard  
 
A brief description of the components of 
scorecard will be useful in understanding the 
scorecard methodology. Objectives and 
metrics are created for each of the four 
perspectives of the balanced scorecard: 
Financial, Internal Business Processes, 
Learning and Growth, and the Customer. 
Essentially, the goal is to identify those 
measurable elements, which when improved 
upon, advance objectives. As an example, 
consider training for a marathon and the 
training regimens published in runners’ 
literature: in the 1st week, one runs an average 
of 5 miles a few days a week. By the 8th week, 
one is averaging 12 miles, and by the 13th one 
is running 26 miles. The regimen increases 
weekly distance, and types of training 
sessions, until one is theoretically prepared to 
run a marathon. In this example: 
 
• Strategy statement: the strategic purpose – 

to complete a marathon 
• Objective: a specific action plan – engage in 

a daily training program in order to 
compete in this year’s New York 
Marathon 

• Initiatives: the projects, tasks, and ongoing 
work undertaken to achieve the objective 
– the daily running regimen  

• Input measures: resources devoted to 
initiatives: time, money (running shoes, 
etc), and energy put into training 

• Output/lag measure: the tangible results of 
input resources – miles run 

• Lead indicator: an indicator that signals 
future success – achieving weekly “miles 
run” targets increases the possibility of 
completing a marathon 

• Outcome measure: the resulting change in 
an individual due to the impact of inputs – 
one’s ability to run great distances; 
compete in a marathon; increased 
cardiovascular health 

 
It is a simple metaphor, but illustrative of the 
subtle differences between types of measures 
as well as how the same metric is used for 
different purposes. Measured alone, “miles 
run” is a simple output of specific inputs: 
time, money, energy allocated to running. In 
the context of the strategy statement “I want to 
complete a marathon,” the “miles run” metric 
becomes a lead indicator of potential 
marathon completion; achieving the metric 
targets are mileposts by which the potential 
for future success may be measured.  
 
Scorecards created for the for‐profit sector are 
structured so that all the objectives are linked 
in cause and effect relationships with the goal 
of improving finances. In assessing student 
learning, the focus is instead on the Customer 
perspective (Niven, 2003). Creating a balanced 
scorecard for student learning outcomes is a 
matter of framing hypotheses which are 
proven, over time, by observation of the 
correlation of inputs, outputs, and whether or 
not they are resulting in the desired outcomes.  
 
A “strategy map” is a visual representation of 
the hypothesized cause and effect 
relationships between performance objectives 
of a balanced scorecard. The function of the 
map is to provide “the missing link between 
strategy formulation and strategy execution” 
(Kaplan & Norton, 2004, p. 10). A good map 
clarifies exactly what needs to happen, in a 
logical order, to achieve outcomes. It visually 
tells a story about how the library creates 
value for the library user. Funding, in the 
Financial Perspective, translates into an ability 
to provide training and educational 
opportunities for staff (the Learning and 
Growth Perspective). An adequately trained 
staff can perform higher‐level services, utilize  



Evidence Based Library and Information Practice 2010, 5.2 
 

 

 
 
Fig. 1. Strategy Map 
 
new skills, and instruct users to a greater 
degree (the Internal Business Process 
Perspective). These three perspectives describe 
the logical cause and effect progression of 
adding value to services, and produce learning 
outcomes (the Customer Perspective). Figure 1 
provides a strategy map which illustrates the 
cause and effect between the scorecard’s four 
perspectives for a scenario which relates to an 
academic library’s information literacy 
program. This scenario is discussed 
throughout the remainder of the paper. 
 
 
A Theoretical Scenario of Using the 
Scorecard as a System for Outcomes 
Assessment and Evaluation 
 
The following expository section describes a 
theoretical scorecard designed to systemically 
assess the learning outcomes of an academic 
library’s information literacy program. The 
scenario is a combination of commonly‐
accepted practices presented together for the 
purpose of illustration. In reality, such a 
transition is not a simple process and would 
indeed require a full scale project cycle of 
planning, implementation, and revision. 
Additionally, creating and implementing an 
information literacy program implies a 
significant degree of organizational change. 

This article will not address issues of 
organizational change and development in 
implementing an information literacy 
program. 
 
The scenario is as follows: a large university 
library must respond to the requirements of 
administration to quantify how the library 
supports university strategic priorities. 
Campus administration and faculty have 
recently voted upon and adopted a set of 
undergraduate campus‐wide learning 
outcomes, one of which is information literacy. 
The librarians feel that there is a strong 
alignment between the information literacy 
outcomes of their instructional program, the 
campus‐wide learning outcome requirement, 
and the university’s strategic priority to 
“improve undergraduate learning and 
retention.” 
A task force is charged to review the research 
on the current information literacy literature, 
techniques, and tools and to create a proposal 
for an information literacy program. 
Hypothesizing that a student who is 
information literate will be better prepared to 
succeed and earn a degree, the team 
determines that improving the library’s 
information literacy program is the best way 
to meaningfully contribute to the university’s 
strategic priority. The team decides to use the 

 
 

40



Evidence Based Library and Information Practice 2010, 5.2 
 

balanced scorecard as a management system 
for evaluating and assessing the program, and 
adopts the university priority to “improve 
undergraduate learning and retention” as 
their scorecard’s strategy statement.   
 
Customer Perspective 
 
With a ratio of 1400 students per instructional 
librarian, an essential characteristic of the 
program must be scalability. With this in 
mind, the committee focuses on creating an 
instructional program with two initiatives:  

1) The instructional librarians will 
focus on a departmental outreach 
program with the goal of building on 
existing library/departmental liaison 
relationships, wherein the librarians 
will work with course instructors to 
integrate information literacy concepts 
into curriculum. 
2) Create online information literacy 
content available via course 
management software and the 
library’s website to supplement the 
library’s departmental liaison efforts 
and provide instruction for distance 
learners.   

A significant hurdle will be to gain the 
cooperation of faculty to allow the librarians to 
add content to their course management 
system sites. 
  
The ability to measure and report the actual 
impact of information literacy on student 
learning is necessary to establish the library’s 
contribution towards the university’s 
academic priority. The library uses 
LibQUAL+, a web‐based qualitative survey 
tool which uses 22 questions to measure 
library users’ minimum, perceived, and 
desired levels of service quality in three 
dimensions: Information Control, Affect of 
Service, and Library as Place, including five 
questions regarding information literacy 
outcomes. Using LibQual+ in an outcomes‐
based scorecard is not necessary; other 
methods are also possible, such as an in‐house 
designed survey for example. The task force, 
agreeing with ACRL’s opinion that satisfaction 
is a minor outcome, decides to use LibQUAL+ 

results, but supplemented by qualitative 
analysis of the submitted comments, and 
followed‐up by a series of targeted focus 
groups which can provide important feedback 
for improving the program (Association of 
Research Libraries, 2010). 
 
In order to actually measure student learning 
of information literacy, the task force decides 
to evaluate and implement a web‐based 
information literacy standardized test. There 
are a variety of tests currently available, each 
with its own features, and some, such as 
project SAILS, are valid and reliable 
(dependent on sample size). The SAILS test 
allows pre‐ and post testing on cohorts, but 
does not provide individual student test scores 
(Project Sails Validity and Reliability, 2008). 
 
Example Scorecard for the Customer 
Perspective 
 

Objective: Improve undergraduate 
information literacy skills. 
Hypothesis: Teaching information 
literacy skills will provide 
undergraduates with the necessary 
skills for academic success.  
Initiative: LIBQUAL+ provides a 
measure of user satisfaction with the 
library’s information literacy efforts. 
Monitor the LibQUAL+ “Information 
Literacy Outcomes Questions” scores; 
perform qualitative analysis of 
Information Literacy Outcomes 
survey comments; and perform focus 
group interviews to gather specific 
feedback on the Information Literacy 
program.   
Measure: LIBQUAL+ Information 
Literacy Outcomes undergraduate 
mean scores versus previous survey 
results. 
Type of Measure: Lag/Outcome. 
Target: 10% increase in mean 
LIBQUAL+ Information Literacy 
Outcomes undergraduate scores 
versus previous survey results. 
 
Objective: Improve undergraduate 
information literacy skills. 

 
 

41



Evidence Based Library and Information Practice 2010, 5.2 
 

Hypothesis: Teaching information 
literacy skills will provide 
undergraduates with the necessary 
skills for academic success.  
Initiative: Choose and implement a 
standardized information literacy test 
(e.g., SAILS) to be administered by 
librarians working with departmental 
faculty. 
Measure: Test scores by ACRL skill 
set; this will provide targeted 
feedback for improving specific 
aspects of the program. 
Type of Measure: Lag/Outcome. 
Target: X% improvement over 
previous year (baseline to be 
established). 
 

Internal Business Process Perspective 
 
Successfully integrating information literacy 
into the curriculum is the result of a 
coordinated effort between administrators, 
faculty and librarians. Administration and 
faculty have shown leadership and have set 
expectations through the adoption of the 
campus‐wide learning outcomes. The library 
intends to position itself as a leader and 
collaborator in the university’s information 
literacy efforts.  
 
As they seek to establish leading indicators, 
they see that their best leverage points are the 
liaison relationships established with course 
instructors to incorporate information literacy 
into the curriculum. A performance driver is 
created: each instructional librarian will seek 
to establish a certain number of liaison 
relationships per term, building a community 
of instructors that are actively incorporating 
information literacy into their classes. Another 
measure is established: a certain percentage of 
faculty relationships actively teaching 
information literacy as part of appropriate 
courses. 
 
The committee also discusses the need for 
balancing academic freedom versus the need 
for a level of consistency within the 
information literacy program. While 
consistency among the librarian’s techniques 

for integrating information technology into 
curriculum is not necessary to achieve desired 
outcomes, consistency is necessary for 
determining which methods are effective and 
which are not. The balanced scorecard is a 
closed‐loop system focused on process 
improvement. If each librarian uses a different 
approach, it is difficult to determine which are 
adding value to the program and which are 
not. To this end, when working with 
departmental faculty, librarians would use the 
same materials, provide the same services, and 
teach the same concepts based on ACRL’s 
Information Literacy skill sets (ACRL 2000). 
 
Example Scorecard for the Internal Business 
Processes Perspective 
 

Objective: Librarians develop services 
and materials to help departmental 
faculty integrate information literacy 
concepts into curriculum. 
Hypothesis: Working with instructors 
to integrate information literacy is the 
most effective and scalable method. 
Initiative: Instructional librarians to 
work with departmental faculty to 
integrate information literacy into 
curriculum; each instructional 
librarian will set goals to contact a 
number of departmental faculty per 
term; a certain percentage of those 
relationships will be targeted for 
partnering on information literacy. 
Measure: Quantity of partnerships. 
Type of Measure: Lead Indicator. 
Target: X per term. 
 
Objective: Provide online information 
literacy tutorials. 
Hypothesis: Online tutorials will 
supplement departmental faculty’s 
information literacy instruction, 
support distance learners, transfer 
students, and provide easily‐accessible 
instruction for all members of the 
community. 
Initiative: Create a series of multi‐
media information literacy tutorials 
for each ACRL Information Literacy 
skill set. 

 
 

42



Evidence Based Library and Information Practice 2010, 5.2 
 

Measure: Test scores by ACRL skill 
set; this will provide targeted 
feedback for improving specific 
aspects of the program. 
Type of Measure: Lag/Outcome. 
Target: X% improvement over 
previous year (baseline to be 
established). 
 
Objective: Raise awareness among 
university faculty, staff, and students 
of the information literacy program 
and objectives. 
Initiative: Create a marketing plan to 
support the information literacy 
program. 
Measure 1: Quantity of library 
information literacy webpage “hits”. 
Type of Measure: Lag. 
Target: X% improvement over 
previous year (baseline to be 
established). 
Measure 2: Number of students that 
have taken the standardized 
information literacy test per term. 
Type of Measure: Outcome. 
Target: X% improvement over 
previous year (baseline to be 
established). 

 
 
Learning and Growth Perspective 
 
The task force realizes that they must develop, 
amongst instructional librarians, a shared 
understanding of techniques and methods to 
disseminate information literacy teaching that 
have the greatest impact on undergraduate 
student learning in their campus environment. 
The task force presents its research on the 
current information literacy literature, 
techniques, and tools, and creates a proposal 
for an information literacy program. The 
measure of this objective, which is both an 
input and lead indicator, is the number of 
instructional librarians that ultimately adopt 
and promote the instructional program. 
 
 
 

Example Scorecard for the Learning and 
Growth Perspective 

 
Objective: Create a shared 
understanding of options and 
methods to disseminate information 
literacy teaching that have the greatest 
impact on undergraduate student 
learning in our campus environment. 
Hypothesis: Though instructional 
faculty are the campus information 
literacy experts, a training program 
will ensure a certain amount of 
consistency in methods used by 
librarians to provide services, tools, 
and instruction to departmental 
faculty and users.  
Initiative: Create and implement a 
standardized information literacy 
program.  
Measure: Number of instructional 
librarians working within information 
literacy program parameters. 
Type of Measure: Lead. 
Target: All library instructional 
faculty will be working within the 
information literacy program 
parameters. 

 
Financial Perspective 
 
Resources are required to accomplish 
objectives, and identifying and allocating the 
budgetary and human inputs draws a direct 
connection from these resources to the 
outcomes. Visibly, this is best seen in the 
strategy map that connects the cause and 
effect relationships between the library’s 
allocation of funds and personnel, the value 
that is added by the library’s intellectual 
capital, and the impact on student learning of 
information literacy. It is also very useful to be 
able to demonstrate to university 
administration the direct effect of allocated 
funds. 
 
 
 
 
 

 
 

43



Evidence Based Library and Information Practice 2010, 5.2 
 

Example Scorecard for the Financial 
Perspective 

 
Objective: Allocate budget for 
standardized information literacy 
testing. 
Initiative: Choose and 
purchase/license a standardized 
testing system. 
Measure: A standardized testing 
system has been purchased/licensed. 
Type of Measure: Input. 
Target: Tasks completed on schedule 
per project plan.  
 
Objective: Allocate budget and 
staffing for implementing a project to 
create online tutorials, content, and 
license subject guide software. 
Initiative: Draft a project plan to 
create content, tutorials; license 
software for creating subject guides. 
Measure: Progress made towards the 
project plan timeline.  
Type of Measure: Input. 
Target: Tasks completed on schedule 
per project plan. 
 

Discussion 
 
The benefits of using the scorecard become 
clear when progress towards the objectives is 
cyclically measured and one can begin to test 
the hypotheses that structure the scorecard. 
Chosen measures may or may not be useful, 
and others may require several assessment 
cycles before a conclusion can be reached. 
Even when targets are not met, the scorecard 
is valuable to identify the initiatives that are 
ineffective, and to provide a basis for process 
improvement.  Evaluation of the program is 
an iterative process. 
 
In the Customer Perspective, the focus is on 
measuring the Library’s contribution to 
learning outcomes. The data collected in this 
perspective are useful to communicate library 
effectiveness to stakeholders. Within the 
university community, library administration 
may use these data as metrics to support the 
university’s academic priorities, as evidence of 

the library’s accountability in its use of 
funding, and to advocate for increased 
institutional funding. For external 
stakeholders, the library may use these data as 
metrics of learning outcomes for accreditation. 
 
Measures in the Internal Business Processes 
Perspective combine the resources described 
in the Financial Perspective with the results of 
the initiatives of the Learning and Growth 
Perspective to create the outcomes in the 
Customer Perspective. This perspective 
provides many opportunities for 
organizational introspection: Will librarians 
meet their outreach goals? What Financial or 
Learning and Growth inputs are factors? Is the 
information literacy marketing plan effective 
in spreading awareness? The data collected in 
the Internal Business Processes Perspective 
allow managers to establish the validity of the 
supporting initiatives and measures from the 
other perspectives. 
 
The Learning and Growth Perspective 
combines the raw inputs of time, effort, and 
funding to produce learning outcomes among 
staff. It can produce a staff which is better 
prepared to meet the challenges of the future 
and achieve organizational goals. Success of 
the scenario’s Learning and Growth objectives 
hinge upon library faculty using a consistent 
pedagogy in teaching information literacy. If 
the targets are not met, what were the factors? 
Were the librarians divided in the chosen 
approach? What was the reason for lack of 
participation? For example, if lack of time to 
participate in the effort is cited as a cause, a 
library manager may then make informed 
decisions about how to solve the problem; 
perhaps the target measure would be achieved 
with more substantial inputs? 
 
The adequacy of the initiatives and targets set 
for the Financial Perspective is determined in 
the other perspectives; if the targets of the 
other perspectives are not achieved, it may be 
because of insufficient allocations in the 
Financial Perspective. If the inputs in the 
Financial Perspective are correct, the data may 
help to make convincing arguments to 
stakeholders, such as: With greater funding, 

 
 

44



Evidence Based Library and Information Practice 2010, 5.2 
 

could the program be expanded to better meet 
goals, or broadened in scope to include 
graduate students? Conversely, during 
challenging economic times, a library manager 
could reasonably predict the impact of 
reducing inputs. 

 
Even when the data indicate that targets have 
not been met, the scorecard is useful as a 
diagnostic tool for process improvement. Or, if 
it is determined that the hypothesized cause 
and effect relationships that were supposed to 
drive the outcomes are false, the scorecard 
provides administrators with an opportunity 
to make informed corrections to their strategy. 
An examination of the results may also 
prompt further research. For example, is there 
a correlation between the LibQual+ survey 
participants’ perceived satisfaction with the 
Library’s information literacy program and 
the SAILS test scores? 
 
Conclusion 
 
This article used a theoretical scenario to 
illustrate the balanced scorecard’s use as a 
systemic model for evaluating and assessing 
an academic library’s learning outcomes. 
Starting with defining the desired outcomes 
(in this scenario, improving undergraduate 
information literacy skills) the scenario 
described how the Task Force worked 
backwards, and created hypotheses of the 
cause and effect relationships between the 
initiatives and financial and human resources 
that are required to achieve outcomes. The 
Task Force established performance drivers, 
which are the measures that create outcomes. 
Development of the instructional program 
through the scorecard’s four perspectives 
helps to ensure that all of the factors for 
success are identified, and if not, the scorecard 
is useful as a diagnostic tool to facilitate data‐
driven evaluation of the instructional process. 
Creation of a scorecard to assess learning 
outcomes simultaneously breaks down the 
process into its elemental parts and aggregates 
the parts for the completed “jig‐saw” puzzle 
picture called for by Dugan and Hernon 
(2002).  
 

Designed for the private for‐profit sector, the 
scorecard was developed to create the 
outcome of financial success. Soon, the public 
sector began to adopt the balanced scorecard 
as a system to achieve and communicate their 
effectiveness in serving the public. Accrediting 
agencies are placing increased demands on 
institutes of higher education – and their 
libraries – to prove that they are creating 
learning outcomes. The example illustrates 
that the balanced scorecard can serve as a 
“typical systems planning model” to evaluate 
and assess an academic library’s learning 
outcomes. 
 
 
References 
 
Association of College and Research Libraries 

 (1998). The ACRL Task Force on  
academic library outcomes assessment 
report. Chicago, IL: American Library 
Association.  Retrieved 19 May 2010 
from http://www.ala.org/ala/ 
mgrps/divs/acrl/publications/whitepa
pers/taskforceacademic.cfm 

 
Association of College and Research Libraries  
  (2000). Information literacy competency  

standards for higher education. Chicago, 
IL: American Library Association. 
Retrieved 19 May 2010 from 
http://www.ala.org/ala/mgrps/divs/ac
rl/standards/standards.pdf  

 
Association of Research Libraries (2010). 

LIBQual+ Survey FAQ. Retrieved 19 
May 2010 from 
http://www.libqual.org/about/about_s
urvey/faq_survey 

 
Calabro, L. (2001). On balance. CFO Magazine, 

17(2). Retrieved 19 May 2010 from 
http://www.cfo.com/article.cfm/29916
08  

 
Dugan, R.E. & Hernon, P. (2002). Outcomes  

assessment: not synonymous with 
inputs and outputs. Journal of Academic 
Librarianship, 28(6), 376‐380. 

 

 
 

45



Evidence Based Library and Information Practice 2010, 5.2 
 

 
 

46

Gerryts, E., & Pienaar, H. (1999). A key to the 
new library. Abstracts and Fulltext 
Documents of Papers and Demos at 
the International Association of 
Technological University Libraries 
Conference, May 17‐21, 1999: The 
Future of Libraries in Human 
Communication. Chania, Greece. 

 
Hernon, P. & Dugan, R.E. (2002). An action 

plan for outcomes assessment in your 
library. Chicago, IL: American Library 
Association. 

 
Kaplan, R. S., & Norton, D. R. (1992). The 

balanced scorecard: measures that 
drive performance. Harvard Business 
Review, 70(1),, 71‐79.  

 
Kaplan, R.S., & Norton, D. R. (1996). The 

balanced scorecard: Translating strategy 
into action. Boston, MA: Harvard 
Business School Press. 

 
Kaplan, R.S., & Norton, D. R. (2004). Strategy 

maps: Converting intangible assets into 
tangible outcomes. Boston, MA: 
Harvard Business School Press. 

 
Kettunen, J. (2007). The strategic evaluation of 

academic libraries. Library Hi Tech, 
25(3), 409‐421. doi: 
101108/07378830710820989. 

 
Lakos, A. (2007). Evidence‐based library 

management: the l challenge. portal: 
Libraries and the Academy, 7(4), 431‐450.  

Lloyd, S. (2006). Building library success using  
the balanced scorecard. Library 
Quarterly, 76(3), 352‐361. 

 
Niven, P.R. (2003). Balanced scorecard step‐by‐

step for government and nonprofit 
agencies. Hoboken, NJ: John Wiley & 
Sons, Inc. 

 
Office of Economic Analysis, United States 
  Securities and Exchange Commission  

(2009). Study of the Sarbanes‐Oxley Act 
of 2002 section 404 internal control over 
financial reporting requirements. 
Retrieved 19 May 2010 from 
http://www.sec.gov/news/studies/200
9/sox‐404_study.pdf    

 
Poll, R. (2001). Performance, process, and 

costs: managing service quality with 
the balanced scorecard. Library Trends, 
49(4), 709‐717.  

 
Project SAILS validity and reliability (2008). 

Retrieved 19 May 2010 from 
https://www.projectsails.org/abouttest
/validation.php?page=aboutTest 

 
Self, J. (2003). Using data to make choices: the  

balanced scorecard at the University 
of Virginia Library. ARL Bimonthly 
report, 230/231. Retrieved 19 May 2010 
from http://www.arl.org/bm~doc/ 
balscorecard.pdf