Evidence Based Library and Information Practice   


Evidence Based Library and Information Practice 2009, 4.4 
 

   Evidence Based Library and Information Practice  
 
 
 
Evidence Summary 
 
Web Usability Policies/Standards/Guidelines Do Not Influence Practices at ARL 
Academic Libraries 
 
A Review of: 
Chen, Yu‐Hui, Carol Anne Germain and Huahai Yang. “An Exploration into the Practices of  
  Library Web Usability in ARL Academic Libraries.” Journal of the American Society for 
  Information Science and Technology 60.5 (2009): 953‐68. 
 
Reviewed by: 
Shandra Protzko 
Information Specialist,  
Tucker Medical Library, National Jewish Health 
Denver, Colorado, United States of America 
Email: protzkos@njhealth.org  
 
Received: 27 July 2009          Accepted: 29 July 2009 
 
 
© 2009 Protzko.  This is an Open Access article distributed under the terms of the Creative Commons Attribution 
License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, distribution, and 
reproduction in any medium, provided the original work is properly cited.  
 
 
Objective – To survey the current status of 
Web usability Policies/Standards/Guidelines 
(PSGs) found in academic libraries of the 
Association of Research Libraries (ARL). 
Researchers sought to investigate whether 
PSGs are in place, the levels of difficulty 
surrounding implementation, the impact of 
PSGs on design, testing, and resource 
allocation, and the relationship between ARL 
ranking and usability practice or PSGs.  
 
Design – Survey. 
 
Setting – North America. 
 
Subjects – Academic libraries of the ARL. 
 
Methods – An 18‐question survey consisting 
of multiple choice, Likert scale, and open‐
ended questions was sent to all 113 ARL 

libraries in November 2007. Survey recipients 
were selected as the person in charge of Web 
site usability by visiting library Web sites and 
phone inquiry. The survey was concluded in 
January 2008 with a response rate of 74% (84 
institutions). The researchers used t‐test to 
detect any difference in ARL library ranking 
between libraries with and without PSGs. 
Pair‐wise t‐tests were conducted to identify 
gaps in difficulty implementing PSGs. In 
addition, they used Pearson’s Correlation to 
investigate any significant correlations 
between variables such as ARL rank and 
resource allocation.  
 
Main Results – Of the 84 respondents, 34 
(40%) have general library Web PSGs and 25 
(30%) have specific usability PSGs; 41 (49%) 
have at least one type of in‐library PSG. Of the 
43 (51%) libraries that do not have PSGs, 30 

 
 

67

mailto:protzkos@njhealth.org
http://creativecommons.org/licenses/by/2.0


Evidence Based Library and Information Practice 2009, 4.4 
 

(36%) are at universities with institutional 
Web usability PSGs; 26 (87%) follow those 
guidelines. There was no statistically 
significant relationship between ARL ranking 
and PSG status (see Table 1).  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
The authors asked about difficulty in 
implementing PSGs. Of the 32 libraries 
responding to a question about general library 
Web PSGs, most had slight or moderate 
difficulty. Twenty‐three libraries with specific 
usability PSGs identified difficulty levels; 
some had no difficulty, but a majority had 
moderate difficulty. For the 26 libraries using 
institutional Web usability PSGs, most had no 
or slight difficulty. Pair‐wise t‐tests showed 
that library Web usability PSGs were 
significantly more difficult to implement than 
university Web usability PSGs.  
 
Enforcement/agreement issues were reported 
as the primary difficulty in implementing in‐
library PSGs. Technical issues and ambiguity 
were obstacles at the institutional level. More 
than half of the 84 libraries have Web advisory 
committees and about one third have usability 
committees or Web usability subcommittees. 
Several libraries answered that they have none 
of these committees, but indicated that they 
have some sort of ad hoc committee or user 
study group to address usability issues. 
 
Of the 84 respondents, 71 (85%) have 
conducted usability testing. Sixty‐two libraries 
(73.8%) rated usability testing as important, 
very important, or extremely important: the 
rate given for the importance of usability 

testing did not correlate with ARL ranking. 
Cited most often in open ended questioning  
were the importance of iterative testing, 
library wide buy‐in, and staff and resource 
availability. Main web pages were tested most  
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Table 1  
Libraries/universities with/without PSGs 

  Library Web PSGs 
Library Web usability 

PSGs 
University Web 
usability PSGs 

  No. of libraries (%)  No. of libraries (%)  No. of libraries (%) 
With  34 (40%)  25 (30%)  30 (36%) 
Without  50 (60%)  58 (69%)  31 (37%) 
Not sure      22 (26%) 
No answer    1 (1%)  1 (1%) 
Total  84 (100%)  84 (100%)  84 (100%) 
       

frequently. Fifty‐three libraries (74.6%) tested 
their lower level pages at least once. OPACs 
were tested the least often. The amount of 
testing was impacted neither by the existence 
of library Web PSGs nor usability PSGs. The 
top two testing methods were in‐person 
observation and think aloud protocol.  
 
Of the 84 libraries, 24 (28%) reported having 
staff dedicated to Web usability issues; twenty 
full‐time staff and four part‐time staff. There 
was a weak association between ARL ranking 
and hours worked by dedicated staff; no 
association existed for regular staff who take 
on Web responsibilities. Fifty‐one (60%) of 
libraries had regular staff whose duties 
included Web usability; forty‐six full‐time and 
five part‐time. Training did not correlate to 
amount of testing methods used. There was a 
weak link between ALR ranking and 
availability of resources and, the authors 
showed, more testing was done as resources 
increased. In response to a query about future 
Web usability plans, the focus was on usability 
testing and site redesign, with only three 
libraries planning to refine or establish 
usability PSGs. 
 
Conclusion – The authors hypothesized that 
“web usability PSGs would influence usability 
practice within libraries and other 
institutions” (953). The data show that PSGs 

 
 

68



Evidence Based Library and Information Practice 2009, 4.4 
 

 
 

69

do not influence practices. The authors 
conclude that there is no significant 
relationship between PSGs and testing 
practices or PSGs and the availability of 
resources. Likewise, ARL ranking had no 
effect on the establishment of usability PSGs. 
Most libraries are conducting usability testing, 
and there was a weak link between ARL 
ranking and availability of testing resources. 
Highlighted in the open‐ended questions is 
the lack of usability expertise among 
stakeholders. Workload, inadequate human 
resources, and lack of organizational cohesion 
are also cited as barriers to the adoption of 
Web usability PSGs. The authors speculate 
that Web professionals likely use their own 
working knowledge and internalized 
guidelines without having formal 
documentation. The authors further speculate 
that the difficulty related to creating mental 
models that adequately represent library tasks 
may hinder the use of formal usability PSGs. 
Additionally, libraries may not regard the lack 
of usability PSGs as a liability, especially in 
light of the lack of government mandates or 
standards. The authors recommend 
educational efforts for key players on the 
value of Web usability, support for hiring 
dedicated staff, and formal documentation to 
guide design practice. The authors plan to 
compare the collected PSGs in an upcoming 
project. Future research could focus on non‐
ARL libraries, the relationship between PSGs 
and user experience, and Content 
Management System (CMS) usability 
characteristics. 
 
 
Commentary  
 
Web usability PSGs help developers and 
administrators create sites with the end user’s 
needs in mind. A focus on usability can help 
limit user frustration and enhance site 
functionality and effectiveness. While there 
are ample design guidelines in the literature, 
the authors highlight the lack of studies of the 
association between PSGs and actual practice. 
Efficiency and functionality are important 
access issues and the authors ask a reasonable 
question about the impact of usability PSGs, 

expanding on the current literature. 
Unfortunately, as presented in the survey 
questionnaire, the distinction between a Web 
site policy that addresses usability issues and a 
specific usability policy is ambiguous. Without 
a clear working definition of usability, 
participant responses may not accurately 
reflect actual practice.  
 
The authors clearly describe the study 
population, setting and data collection 
methods, and they account for limitations of 
the study, recognizing that the study is not 
generalizable.  Since the survey was self‐
report, the validity might be limited; and 
while the survey was long, addition 
information would have been of benefit. For 
example, the authors suggest questioning why 
some libraries have no PSGs. The 
methodology was described to allow for 
replication and the results were clearly 
outlined and presented in tables. This study 
offers an indication of current practice in ARL 
libraries, the most prestigious libraries in 
North America. 
 
There is sound evidence in the literature to 
support the use of established design 
principles and usability testing practices. The 
authors highlight Research‐Based Web Design & 
Usability Guidelines, published by the U.S. 
Department of Health and Human Services, as 
one authoritative resource. However, it is not 
obvious that just because a library has no 
formal documentation supporting usability 
efforts that those efforts are not being made. 
That ARL study participants think usability 
testing is important, conduct some form of 
testing, and think implementing PSGs is at 
least somewhat difficult, suggests a need to 
convince people why formal PSGs are 
important, if indeed, they are. It seems 
intuitive that written usability PSGs would 
contribute to the development of quality Web 
sites, and future studies might indicate as 
much. Lack of knowledge and resources seem 
to be the biggest barriers. It is worth asking, 
“What policies or practices actually improve 
user experience?” While exploratory, this 
study serves as a reminder to all library Web 



Evidence Based Library and Information Practice 2009, 4.4 
 

administrators to at least continue to ask 
questions about usability practice and 
resource allocation.  
 
 
Works Cited 
 
United States Department of Health and  

Human Services. Research‐Based Web 
Design & Usability Guidelines. 
Washington, DC: U.S. Government 
Printing Office, 2006. 

 
 

 
 

70