Evidence Based Library and Information Practice   


Evidence Based Library and Information Practice 2010, 5.1 
 

   Evidence Based Library and Information Practice  
 
 
 
Article 
 
Evaluating the Development of Virtual Communities of Practice that Support Evidence 
Based Practice 
 
Christine Urquhart 
Senior Lecturer 
Department of Information Studies 
Aberystwyth University, United Kingdom 
Email: cju@aber.ac.uk 
 
Anne Brice 
Department of Knowledge & Information Sciences 
Public Health Resource Unit, Oxford, United Kingdom 
Email: anne.brice@dphpc.ox.ac.uk 
 
Janet Cooper 
Department of Information Studies, Aberystwyth University 
Aberystwyth, Wales, United Kingdom 
 
Siân Spink  
Department of Information Studies, Aberystwyth University 
Aberystwyth, Wales, United Kingdom  
 
Rhian Thomas 
Department of Information Studies, Aberystwyth University 
Aberystwyth, Wales, United Kingdom 
Email: ret@aber.ac.uk 
 
Received: 01 Dec. 2009          Accepted: 12 Feb. 2010 
 
 
 2010 Urquhart, Brice, Cooper, Spink and Thomas. This is an Open Access article distributed under the terms of 

the Creative Commons‐Attribution‐Noncommercial‐Share Alike License 2.5 Canada 
(http://creativecommons.org/licenses/by‐nc‐sa/2.5/ca/), which permits unrestricted use, distribution, and 
reproduction in any medium, provided the original work is properly attributed, not used for commercial 
purposes, and, if transformed, the resulting work is redistributed under the same or similar license to this one. 
 
 

Abstract 
 
Objective – The aim of this paper is to examine how virtual community of practice 
principles might be used by information professionals with emphasis on the work of 
the Specialist Libraries for health professionals in England, UK. An evaluation 
conducted in 2004‐2005 examined the operation of the Specialist Libraries, which the 

 
 

48

mailto:anne.brice@dphpc.ox.ac.uk
mailto:ret@aber.ac.uk


Evidence Based Library and Information Practice 2010, 5.1 
 

 
 

49

National Library for Health had contracted out to various organisations, and assessed 
their stage of development as communities of practice.  
 
Methods – Evaluation methods included observation of a meeting of information 
specialists, interviews with clinical leads and information specialists, and evaluation 
of the content and format of the Specialist Library websites. The evaluation framework 
was based on a systematic review of the literature to determine the critical success 
factors for communities of practice and their role in supporting evidence based 
practice. An updated literature review was conducted for this paper. 
 
Results – Operational structures varied but were mostly effective in producing 
communities of practice that were at an “engaged” stage. Some Specialist Libraries 
wished to move towards the “active” stage by supporting online discussion forums, or 
by providing question and answering services or more learning activities and 
materials. Although the evidence from the literature suggests there are few clear 
criteria for judging the effectiveness of communities of practice, the evaluation 
framework used here was successful in identifying the state of progress and how 
information professionals might approach designing virtual communities of practice. 
 
Conclusions – Structuring library and information services around community of 
practice principles is effective. Careful and participative design of the information 
architecture is required for good support for evidence based practice.  

 
 
Introduction 
 
The NHS Evidence Health Information 
Resources website (formerly the National 
Library for Health, NLH and National 
Electronic Library for Health, NeLH) aims to 
deliver health library services to NHS staff, 
students, patients and carers in England, and 
to support and promote evidence based 
decision making. At the time of the empirical 
research described in this paper, the aim was 
to offer a range of services that mixed 
traditional services, such as professional 
librarian support, with new web based 
services such as a comprehensive search 
engine, clinical question answering, and 
current awareness services. 
 
A major component of the NLH portal, the 
Specialist Libraries section, was established in 
2003 to make it easier for distinct health care 
communities to access and transfer 
knowledge. Specialist Libraries were based 
around three types of specialty: disease 
groupings (e.g., cancer, cardiovascular or skin 
diseases), populations (e.g., children or older 
people), and different types of healthcare 

activity (e.g., complementary medicine or 
clinical genetics). Specialist Libraries (now 
renamed Specialist Collections) aim to identify 
and engage all key stakeholders and partners. 
 
Definitions of communities of practice vary, 
but one main proponent, Wenger (1998), 
emphasises how communities of practice 
foster social learning – learning that takes 
place within practice, based on observation 
and interactions (p. 96). The NLH’s aim, via 
the Specialist Libraries, was to ensure that 
practitioners in different specialties could 
make sense of evidence based practice in ways 
that were meaningful to them, and apply 
lessons learned by others in their specialist 
area. While many private sector organisations 
have embraced communities of practice as a 
way of preserving and fostering knowledge, 
large public sector organisations such as the 
National Health Service (UK) seem to have 
been slower in adopting these knowledge 
management solutions. The Specialist 
Libraries were designed on evidence based 
principles to ensure that as far as possible they 
worked as communities of practice should. 
The findings of an evaluation conducted by 



Evidence Based Library and Information Practice 2010, 5.1 
 

the Aberystwyth University in 2004‐2005 were 
intended to identify the barriers and enablers 
to further the development of the Specialist 
Libraries as communities of practice. This 
paper outlines how those principles were 
derived, how the evaluation was conducted, 
and the main findings. Discussion and 
conclusions emphasise lessons that may be 
transferred to other information services and 
health organisations, using the findings of a 
review of the literature as well as the study 
results. 
 
Aims, Objectives, and Context 
 
The aim of the evaluation was a mid‐term 
review of the development of the Specialist 
Libraries. The primary objectives were to 
assess whether the 19 Specialist Libraries were 
operating as intended, whether they were 
developing as communities of practice, and 
what stage they had reached. Secondary 
objectives included examining how the 
information specialists supporting the 
Specialist Libraries were themselves operating 
as a community and to examine the links 
between the Specialist Libraries and other 
health organisations such as professional 
bodies and patient support groups (their 
advisory group structure). 
 
Some of the Specialist Libraries had been 
formed in 2004, others had been in existence 
for at least three years (operating as “Virtual 
Branch Libraries” within the NeLH). Their 
structures varied slightly according to their 
host organisation, but the usual management 
team for a Specialist Library had a clinical 
lead, an information specialist, support by an 
Editorial Board to help appraise quality and 
approve content development strategies, and a 
reference group of other organisations and 
groups (including patient support groups) 
with an interest in the clinical speciality. Some 
information specialists supported more than 
one Specialist Library. 
 
Methods 
 
The methods used for the evaluation included: 

• Revalidation of framework criteria for 
appraising the websites of the 
Specialist Libraries (details below) 

• Evaluation of the 19 websites against 
the framework criteria to determine 
the stage of development  

• Interviews with Specialist Library 
teams – clinical leads (1 face‐to‐face 
interview, 3 telephone interviews) and 
information specialists (4 face‐to‐face 
interviews, 2 telephone interviews, 
plus one set of replies emailed back). 

 
Interviews were intended to complement the 
website evaluations and provide answers to 
some of the questions concerning future 
development plans. Questions (Appendix 1) 
explored perceptions of clinical leads and 
information specialists about the functioning 
of their Specialist Library, how the 
management structures operated, and what 
their priorities were. Interviews were 
transcribed and coded according to the 
evaluation framework themes. 
 
In addition, one member of the research team 
attended the information specialists’ meeting 
in Bath from 8‐9 December, 2004 for 
observation and background fact finding. In 
total, 10 of 19 Specialist Libraries were 
approached for more formal interviews, and 
10 supplied information. A selection matrix 
was used to ensure that the sample included 
old and new libraries, various organisational 
set‐ups, and clinical communities (e.g., chronic 
conditions, acute specialities). Several of the 
information specialists service more than one 
Specialist Library and the interviews with 
those information specialists sought 
comparisons with the work they did for both 
Specialist Libraries. 
 
Developing and Revalidating the Framework 
Criteria 
 
We believed two key concepts for 
communities of practice were important for 
the health sector. These were: 1) legitimate 
peripheral participation (Lave & Wenger, 
1991): and 2) the possible membership an 
individual might have in several communities 

 
 

50



Evidence Based Library and Information Practice 2010, 5.1 
 

of practice (Wenger, 1998, p. 158). Any health 
community of practice needs to allow for new 
members, such as those on clinical rotations to 
participate on the fringes initially, but still to 
recognise them as legitimate members of the 
virtual community. In addition, health 
professionals may belong to several 
communities, representing their various 
professional and research interests. An earlier 
study had developed an evaluation 
framework, based on a systematic review of 
the literature (Urquhart, Yeoman, & Sharp, 
2002). The review identified community of 
practice evaluations through Web sites (White, 
2001), literature searches (1995‐2001) on 
databases (ISI Social Citation Index/Web of 
Knowledge) using search terms such as 
knowledge management, communities, 
organisational learning and social learning. It 
established that most evaluations of 
community of practice projects have used a 
variety of methods to provide triangulation of 
the findings (mostly qualitative). One 
longitudinal five‐year study by Gongla & 
Rizzuto (2001) used participant observation, 
activity measurement and structured 
interviews. Other approaches include the case 
study approach (Hildreth, Kimble, & Wright, 
1998); focus groups plus quantitative methods 
(Moreno, 2001); action research (Catino, 1999); 
the American Productivity Quality Council 
benchmarking methodology (O’Dell, Hubert, 
& McDermott, 2001); and a social capital 
framework (Lesser & Storck, 2001). Although 
many of the studies included for further 
review used triangulation to support 
conclusions drawn, none included sufficient 
raw data to enable verification of the 
interpretations and conclusions made.  
 
The key themes to emerge from this synthesis 
of the research evidence were: 
 

• Virtual communities may be 
constituted formally or informally. 

• Trust often needs to be fostered 
through face‐to‐face communication, 
and trust is often consolidated 
through working on a shared 
document or task. 

• Communities of practice may evolve 
through stages, but not necessarily in 
true life cycle format. (Moreno, 2001)  

 
The stages of evolution identified in the major 
longitudinal study in IBM (Gongla & Rizzuto, 
2001) are: 
 

• Potential (connecting individuals) 
• Building (allowing individuals to 

learn more about each other, share 
experiences and knowledge, create 
shared norms) 

• Engaged (emphasis on access and 
learning to provide support to new 
members and add to add to the 
knowledge base) 

• Active (emphasis on collaboration and 
shared work tasks) 

• Innovation and Generation (to 
develop new products and services 
and even to spawn new communities 
of practice). 

 
By 2001, there had been some community of 
practice trials (e.g., Lau & Hayward, 2000) in 
the health sector. The limited evidence from 
these indicated the importance of building 
trust. The infrastructure or learning 
architecture for a community of practice 
(Wenger, 1998, p. 230) should allow for 
engagement (e.g., shared repositories, 
storytelling, joint tasks), imagination (e.g., 
scenario development, explanations and 
examples), and alignment (e.g., feedback and 
audit mechanisms, mediation mechanisms). 
The review demonstrated that the activities, 
documents, and processes within a 
community of practice would need to cater for 
the differences in perspective (Markus, 2001) 
between novices, expert practitioners, 
researchers and those involved in secondary 
knowledge production (e.g., in systematic 
reviews). A synthesis by Nutley & Davies 
(2001) of various approaches to organisational 
learning, as applied to the NHS, contrasts the 
emphasis on the codification of knowledge, as 
shown in standardised reporting schemes, and 
publication of guidelines with the 
“unlearning” processes required to change 
established practice in the light of new 

 
 

51



Evidence Based Library and Information Practice 2010, 5.1 
 

evidence. For the health sector, as in other 
communities of practice, power and politics 
cannot be ignored (Fox, 2000), and 
assumptions about norms of behaviour and 
responsibilities for changing practice need to 
be considered.  
 
Most of the published qualitative studies on 
which the appraisal framework (below) was 
based would not meet all the criteria for 
reporting qualitative research, as details were 
lacking. Nevertheless, the framework was 
successful in identifying that the “Virtual 
Branch Libraries” were functioning as 
communities of practice (Urquhart et al., 2002) 
and therein to inform the specification for 
commissioning the Specialist Libraries in 2003. 
 
Updated Literature Review 
 
The literature review was updated for this 
evaluation (2004‐2005) to identify trends in 
social learning theories, recent community of 
practice evaluations in the health sector, and 
other related systematic reviews. No changes 
to the original framework were deemed 
necessary.  
 
More recent literature, published since the 
original (2001) and updated (2004) synthesis 
for the evaluation work was identified 
through a literature search of MEDLINE 
(using PubMed related article searching) and 
Web of Knowledge and by following up 
references in relevant articles. This time, the 
inclusion criteria were narrowed to systematic 
reviews of communities of practice in the 
health sector, comparative case studies, 
research studies that included virtual and face‐
to‐face communities of practice for health 
professionals, and theoretical frameworks that 
might be applied to virtual health 
communities of practice (2004‐ mid 2009 
publication date). 
 
Several systematic reviews were identified. Li 
et al. (2007) compared business and health 
communities of practice, but found no 
evaluation studies in the health sector that 
fitted their inclusion criteria. Their synthesis of 
literature (1991‐2005) identified four important 

characteristics: social interaction among 
members, knowledge sharing, knowledge 
creation, and identity building – but these are 
not consistently present in all communities of 
practice. Eysenbach, Powell, Englesakis, Rizo, 
& Stern (2004) systematically reviewed the 
effects of online peer‐to‐peer interactions in 
virtual health communities of practice and 
electronic support groups, but found no 
robust evidence. An ongoing Australian study 
(Braithwaite et al., 2009) did a content analysis 
(Greenfield, Travaglia, Nugus, & Braithwaite, 
2007) of the 624 publications on health systems 
communities of practice identified in their 
systematic review, which will contribute to an 
evaluation methodology with evidence based 
outcome measures for communities of practice 
and social networks. A systematic review 
(Fung‐Kee‐Fung et al., 2008) of regional 
collaboratives in surgery identified five 
enablers for effective learning for best practice 
(establishment of trust, reliable data, clinical 
leadership, institutional support, and an 
infrastructure for quality management).  
 
Dubé, Bourhis, & Jacob (2005), in a qualitative 
analysis of 14 organisations (comparative case 
study) developing virtual communities of 
practice found that relevance, and a 
facilitating environment were vital. Although 
intentionally formed communities may fail 
and face‐to‐face communication is important 
for initial socialization, it is not necessary to 
build on existing informal networks. In 
addition, the benefits of voluntary versus 
mandatory participation are unclear.  
 
Some of the themes that emerge from these 
studies – the evolving definitions of 
communities of practice and the difficulty of 
evaluating complex adaptive systems that do 
not behave in a linear fashion, are echoed by 
qualitative research by Ferlie, Fitzgerald, 
Wood, & Hawkins (2005), whose analysis of 
eight comparative case studies indicated that 
tight professional boundaries may inhibit the 
spread of innovations in evidence based 
practice. Innovation is not necessarily a neat 
linear process, particularly as some 
professional networks may operate 
horizontally (between colleagues) and others 

 
 

52



Evidence Based Library and Information Practice 2010, 5.1 
 

vertically (senior to junior staff) (Greenhalgh, 
Robert, MacFarlane, Bate, & Kyriakidou, 
2004). 
 
From the literature retrieved in the initial and 
updated review, evidence was collated to 
inform questions for this paper about the 
design approach for communities of practice, 
development risks, and how effectiveness 
might be evaluated. The key themes are, with 
the type and level of evidence indicated, are: 
 

• Contingent approaches to design are 
desirable for trust and knowledge 
sharing to develop.  
IT‐led communities may be more 
difficult to engineer than IT‐supported 
communities (Kling & Courtright, 
2003), and even in carefully 
constructed knowledge networks 
exposing gaps in knowledge can seem 
risky (Falkman, Gustafsson, Jontell, & 
Torgersson, 2008). Benefits of 
knowledge sharing need to be clear 
and norms of behaviour in virtual 
communities apparent (Giordano, 
2007). Russell, Greenhalgh, Boynton, 
& Rigby (2004) indicate that the 
success of an informal email network 
to support evidence based care 
depended on careful targeting and 
filtering of messages. 
Level of evidence: mainly qualitative 
analysis 

• The ways of working and professional 
practice and learning may adversely 
affect multidisciplinary communities 
of practice (Ferlie et al., 2005).  
Different types of informal learning 
exist, and the concept of “situated 
learning” needs to be reviewed (Eraut, 
2000). Forums which are ostensibly 
multi‐professional are in fact medical 
(Dopson, Fitzgerald, Ferlie, Gabbay, & 
Locock, 2002). Group dynamics, and 
the different ways in which doctors 
and nurses may value important 
knowledge may affect a 
multidisciplinary community of 
practice in unpredictable ways 
(Gabbay et al., 2003). 

Level of evidence: theoretical opinion, 
and mainly qualitative analysis  

• Legitimate peripheral participation 
and power relations are tricky. 
Experts can also learn from the 
novices (Fuller, Hodkinson, 
Hodkinson, & Unwin, 2005), but 
power relations (Fox, 2000; Li et al., 
2007) may complicate matters, and 
marginal membership may 
disadvantage some (Mallinson, Popay, 
Kowarzik, & Mackian, 2006). 
Level of evidence: systematic review, 
plus qualitative analysis  

• Criteria for success of communities of 
practice are elusive (Eysenbach et al, 
2004; Li et al., 2007), perhaps because 
they are complex adaptive systems 
(Greenhalgh et al., 2004; Sheffield, 
2008).  
Rigorous experimental evidence is 
sparse, although one randomised 
controlled trial (Barwick, Peters, & 
Boydell, 2009) and a pre‐test, post‐test 
design (Tolson, Booth, & Lowndes, 
2008) suggest that members of a 
community of practice group are more 
positive in attitude towards a change 
in practice, more knowledgeable, and 
willing to take decisions 
independently. 
Level of evidence: systematic reviews, 
plus single randomised control trial 

 
Web Site Appraisal 
 
For each of five critical success factors 
identified by the NLH team commissioning 
the research, appraisal questions were 
developed (Figure 1, for an outline list). These 
questions were based on the evidence from the 
original systematic review (Urquhart et al., 
2002) and were also relevant to the processes 
and enabling technology of interest to the 
NLH. Questions probing the stage of 
development were based on the most rigorous 
evaluation of communities of practice 
identified (Gongla & Rizzuto, 2001) as Figure 2 
illustrates for the usability critical success 
factor. 
 

 
 

53



Evidence Based Library and Information Practice 2010, 5.1 
 

 
 

54

Website appraisals were completed for the 19 
Specialist Libraries in existence in late 2004. 
Copies of the individual completed appraisal 
forms were sent to the relevant information 
specialists for verification by their core team, 
and amendments made as necessary. 
 
Results 
 
Stage of Development 
 
The stages of development are characterised 
as follows: 
 

1. Building stage (Constructs communal 
memory and context: learning about 
one another; building a common 

vocabulary; creating roles; beginning 
repertoires) 

2. Engaged stage (Promotes access and 
learning: building trust, loyalty, and 
commitment; providing outreach; 
telling community stories; 
encouraging contribution to the 
knowledge base) 

3. Active stage (Supports collaboration: 
engaging members in work groups or 
collaborative working with others; 
using analytical and decision‐making 
tools) 

4. Adaptive stage (Creates new 
products: founding of more 
communities; responding to 
environmental changes) 

 
Critical success 
factor 

Questions 

Functionality  1. Are the purpose, aim, and identity clear? 
2. Are there ways of identifying and locating community members? 
3. Is there a clear knowledge management framework, common repository? 
4. What functions support newcomers, or visitors? 
5. How are evaluation, audit, and community “sensing” achieved? 
6. How are links with other groups, and organisations presented? 
7. How might policy making in the Department of Health be supported? 

Usability  1. How are individuals brought together? 
2. Are the roles of participants and the norms of behaviour clear? 
3. Is the organisation of knowledge appropriate to the community? 
4. Does the process of feedback work transparently? 

Content  1. Are there directories of members or equivalent? 
2. Does the range of content include document and library systems, community “stories”, 
record of collaborative work efforts? 
3. Are there decision making and analytical tools to support application of the content? 
4. Are there links with other systems in the workplace, such as the Electronic Patient 
Record? 

Stakeholder 
involvement 

1. What types of participation are possible, and can participants (professional societies, 
patient groups, research workers, charities, commercial organisations) move to a level of 
participation appropriate to their needs? 
2. How is personal identity and communal identity supported? 
3. Are the rhythm of events, news for the workplace reflected? 
4. What rewards of membership are apparent? 
5. What types of collaborative interaction might be supported? 
6. What type of mentoring is available? 
7. How is primary care taken into account? 
8. Are patients stakeholders, and what might be the relationship with NHS Direct Online or 
similar? 

Project 
management 

1. How is “senior management” represented? 
2. Is there a core of community leaders? 
3. How is leadership interpreted? 
4. What evaluation mechanisms exist, and how are they acted on? 
5. How are diverse roles identified and represented? 
6. What mechanisms are there for building trust among community members? 

Fig. 1. Website appraisal framework. 



Evidence Based Library and Information Practice 2010, 5.1 
 

Rationale  Stage Characteristics 
1. How are individuals brought together?  Potential stage. Some evaluations stress need for 

relationship development, some outreach from existing 
teams, and virtual working an important consideration 
for professionals used to face‐to‐face communication 

2. Are the roles of participants and the norms of 
behaviour clear? 

Building stage. Need for consideration of potential 
computer mediated communication problems in the 
health sector, different genres of communication among 
different professional groups 

3. Is the organisation of knowledge appropriate to 
the community? 

Building to Engaged stages. Some possible uncertainty 
about the formats appropriate for different professional 
groups 

4. Does the process of feedback work transparently?  Engaged to Active stages. Helping to support change in 
practice, and organisational learning 

Fig. 2. Mapping of web site usability criteria to stages identified in the Gongla & Rizzuto review. 
 
These stages of development are the same as 
used in the previous evaluation (Urquhart et 
al., 2002). Some of the Libraries were found to 
be mid‐way between stages, making it difficult 
to indicate how many were at each stage. For 
example, some of the older established 
Libraries were, unsurprisingly, more 
advanced than those newly established in 2004 
(e.g., Cancer, Oral Health, Later Life). And as 
might be expected, there were signs of change 
with different parts of the same library 
showing signs of operating at different stages. 
In one Specialist Library the user group was at 
the building stage, but their UK‐wide steering 
group was well into development of the active 
and adaptive stages of community of practice 
development.  
 
All the Specialist Libraries fulfilled the criteria 
for the building stage and most were at the  
 
engaged stage, but were developing in 
different ways. The way feedback was 
handled differed across the Libraries, although 
the value of contributions from users was 
acknowledged as a virtual circle:  
 

We send items out to our stakeholders who 
are the experts in the field and say ‐ 
should this still be in the Library? The 
more that we can get the stakeholders and 
the user involved... you want people to be 
looking at the site, and they will say ‐ look, 
this is now out of date…And that’s 
starting to happen. 

 

Most of the Specialist Libraries were stuck at 
the engaged stage, as the Resource 
Management System (RMS) introduced by the 
NLH for use by all the Specialist Libraries for 
the architecture of the virtual community of 
practice did not provide the required 
functionality to support some types of 
collaborative working and discussion as easily 
as it might. Unlike many of the communities 
of practice in the private sector, the Specialist 
Libraries did not “tell community stories” (as 
might be expected of the engaged stage) but 
they did provide access to clinical guidelines 
and other procedural knowledge – perhaps a 
very formalized way of documenting “how 
things are done around here and why.” 
 
Building trust and loyalty (in the engaged 
stage) was characterised by concern about 
providing a quality product valued by the 
community, and one that the community 
would contribute to, in some way. As libraries 
expand the content it is likely that the number 
of clinical “leads” or at least the need for 
varied clinical input increases, particularly if 
there is a great emphasis on quality assurance 
processes. 
 

I think we’ve invested quite a lot of time in 
the quality assurance of things…of 
guidelines that we’re going to put on and 
that’s why it’s taken us.... 18 months 
developing the clinical library…Recently 
I’ve had more clinical input, we’ve divided 
the library up so we’ve got other clinicians 

 
 

55



Evidence Based Library and Information Practice 2010, 5.1 
 

involved more. So I’m doing far more of 
the sort of overview. 

 
One of the more established Specialist 
Libraries viewed their role in the active stage 
as the integration of the smaller “communities 
of practice” in their area. This included 
specialist interest groups and professional 
groups, represented through their advisory 
group structure. They stress collaboration but 
“We try hard not to be seen as competition with the 
specialist societies.”  
 
Some Specialist Libraries viewed their role as 
helping their community make decisions 
quickly, which included convenient provision 
of digests or summaries of the content that 
might already be on the NLH site (such as 
NICE guidelines or Cochrane Reviews) but is 
dispersed and therefore harder to locate. 
  

If a NICE guideline is difficult for 
somebody to use because it’s an 80 page 
Word document then there’s not much we 
can do about that…I suppose what 
Specialist Libraries are doing, is that we 
are trying to present critically appraised 
abstracted versions of content to give 
people a way into some of those more 
difficult to use resources. That’s 
something we’re working on as well. 

 
Benefits and Drawbacks of a Community of 
Practice “Brand” 
 
Several of the interviews revealed the tension 
between providing a recognisable NLH‐
branded service, with a standardised Resource 
Management System, and a community of 
practice that was relevant to the needs of that 
community. For some Specialist Libraries, this 
spelt problems for the trust they had built up 
with their users: “You’re faced with a community 
of users who have seen the functionality go with no 
extra, no real extra content.” Experimentation 
with RSS (Really Simply Syndication) feeds 
was acknowledged as useful, if not vital, in 
supporting current awareness services, but 
there were some misgivings at the time that 
some user‐led needs analysis had not been 
fully integrated in the timescale expected.  

Opinions varied about the desirability of 
standardisation. Some want complete 
standardisation, others want control of their 
front page, or some degree of flexibility. The 
Resource Management System (RMS) 
provides some advantages for the information 
specialists in helping to crosslink to other 
Libraries’ information or other NLH evidence 
resources. 
 
There was a perception that the RMS and the 
RSS feeds were very good at helping with the 
information management, but that the support 
of the community of practice would need 
more emphasis on learning. Some 
interviewees noted that the current 
configuration of the RMS prevented them 
from putting on material that would suit the 
newly qualified or visiting staff – those who 
might be “legitimate peripheral participants.” 
 
Sub‐groups of information specialists, under 
the aegis of the NLH, were tasked to formulate 
guidance on standards and presentation, 
training and development, evaluation, and 
publication types on behalf of all the Libraries. 
The interviews confirmed that there had been 
problems with technical guidance and 
support, but that an appointment of a co‐
ordinator at the NLH end, and easier 
reporting (and better response rate) for 
technical problems had helped improve the 
situation.  
 
The information specialists were helped 
through the problems of implementing the 
RMS by their own network. ”We can actually 
have an electronic community of all the Specialist 
Libraries’ staff so we can collaborate and have 
online discussions, file sharing, post events, have 
some statistics on the electronic community.” 
Those based near each other geographically 
have close working relationships: “And that’s a 
kind of group therapy session as much as anything 
else. We get together and talk about some of the 
difficulties involved in producing these Libraries.” 
This community of practice of information 
specialists, working to support the Specialist 
Libraries, was operating very successfully. 
 
 

 
 

56



Evidence Based Library and Information Practice 2010, 5.1 
 

Support of Social Learning 
 
At the time of evaluation, several information  
specialists and clinical leads discussed how to 
get their communities involved in activities 
that would be viewed as social learning, 
although only a minority offered access to 
training materials. The organisational 
framework for the social learning is the 
reference group or advisory group of 
professional organisations, relevant charities, 
and patient support groups. Within that large 
group there may be a core group of people 
who contribute regularly to the work of the 
Specialist Library. Activities such as sharing in 
appraisal of material for the Web site would 
build the community, but would also require 
some intrinsic rewards: “My personal view is 
that we’re unlikely to get anyone with the right 
expertise to quality appraise anything for us for no 
academic credit or reward whatsoever.” On the 
other hand involving clinical students who are 
trained in critical appraisal in this type of 
content selection as “something that is done” 
may help as “They are the people we can influence 
most and that could be done cheaply and 
easily…they will be our main users in the future.”  
 
Routes to capitalise on what people already 
do, to use that as a scaffold to extend the work 
of the community of practice in the Specialist 
Library, include working with existing journal 
clubs: “At the moment we’re trying to get links 
into things like journal clubs in teaching 
hospitals.” Some Specialist Libraries see the job 
of supporting the Specialist Libraries as 
something professionals should accept as part 
of their role, and would become ingrained 
during professional education and training.  
 

What we want them to do is to let us 
know they read something interesting and 
to provide us with a quality assessment of 
that. They’re doing it all the time, they 
should be doing it to the people they’re 
training, their junior staff, they’re doing it 
for journals, what we do is provide them 
with materials so they can provide us with 
their opinion online. 
 

Discussion 
 
Most evaluations of communities of practice 
have been conducted, as this one was, using 
qualitative research methods, to understand 
how the communities were operating. The 
framework devised was effective in 
highlighting some of the development 
problems and successes, and was objective in 
identifying the main differences between some 
Specialist Libraries, although as indicated 
earlier the level of evidence on which the 
framework was based was not high. The first 
evaluation of the Libraries highlighted the 
problems in moving from the engaged stage to 
the active stage (Yeoman, Urquhart, & Sharp, 
2003). This second evaluation also found this 
to be a problem, suggesting that moving 
between some stages may be more difficult for 
some types of communities than others. 
Unfortunately, there are few independent 
longitudinal evaluations of genuine 
communities of practice to assess whether the 
stage framework needs expansion, or whether 
the problem is really one of describing 
appropriate phases for system states in 
complex systems, and identifying triggers for 
change.  
 
The problems surrounding the RMS 
implementation indicated some of the 
problems of becoming an IT‐led rather than an 
IT supported venture, and that IT‐led 
communities can fail to thrive (Kling & 
Courtright, 2003). IT should support existing 
social networks, but there may be problems 
ahead for the Specialist Libraries in fostering 
multidisciplinary working (Dopson et al., 
2002; Ferlie et al., 2005; Greenhalgh et al., 
2004). Perhaps multidisciplinary, virtual 
health communities of practice will flourish 
better when there is a real identified clinical 
need for sharing and creation of new 
knowledge, such as in pain management for 
children (Curran‐Smith, Abidi, & Forgeron, 
2005). Evidence from the Services’ 
Collaboratives set up by the NHS to support 
knowledge management showed a failure to 
foster the knowledge sharing and creation that 
might be typical of a community of practice 
(Bate & Robert, 2002). Such sharing is hard to 

 
 

57



Evidence Based Library and Information Practice 2010, 5.1 
 

achieve unless participants trust each other 
enough to ask questions and share knowledge 
(Falkman et al., 2008; Giordano, 2007). The 
community of practice ideas stress the 
importance of “legitimate peripheral 
participation”, and the importance of 
welcoming newcomers was acknowledged by 
the Specialist Libraries. An informal email 
network on evidence based healthcare 
(CHAIN) provided filtered access to people 
with know‐how and was very popular, but 
those who were acting at the periphery also 
appreciated what they could learn from 
reading the postings (Russell et al., 2004). 
There sometimes seems to be an assumption 
among online community developers that 
“lurking” is a problem and indicative of lack 
of interest. The advantage of using a 
community of practice framework is that such 
lurking is legitimate, not a problem, but 
participants need to be able to move to more 
active roles if they wish (Mallinson et al., 2007) 
and more social network analysis might 
illuminate the patterns of social interactions to 
be expected (Curran‐Smith & Abidi, 2007). 
 
More importantly, the ideas behind social 
learning and communities of practice may 
need to be reviewed before devising IT‐
supported frameworks to support such 
learning (Li et al., 2007; Cox, 2005). Eraut 
(2000) distinguishes three types of learning 
within social learning and three types of tacit 
knowledge: tacit understanding of people and 
situations, routine actions, and the rules for 
intuitive decision‐making. One framework 
that has been tried in the health sector is the 
Healthcare Scenario Composer (Cheah & 
Abidi, 2001). This would provide an electronic 
forum to allow healthcare experts to respond 
to a given scenario (which may be “already 
solved”), a challenge scenario (atypical, which 
elicits tacit knowledge), or solved‐challenge 
scenario (to assess degree of consensus or 
disagreement) with a proposed solution. This 
approach seems to have some similarities with 
some of the principles of case‐based reasoning 
(Becerra‐Fernandez, Gonzalez, & Sabherwal, 
2004, p. 160). Falkman et al. (2008) have also 
designed a community for clinical case 
discussions. This may be successful in 

secondary care, but ethnographic research on 
knowledge management in primary care 
points to the very fluid nature of tacit 
knowledge in primary care, the collectively 
constructed “mindlines” (the internalised tacit 
guidelines which were negotiated with a 
variety of people) according to organisational 
and time constraints (Gabbay & le May, 2004). 
To complicate matters further, several groups 
in the health sector have used the term 
“communities of practice” as an aspirational 
term rather than descriptive of actual practice 
(as noted by Gabbay et al., 2003).  
 
The community of information specialists 
appeared to working effectively as a 
community of practice within the general 
Specialist Library service structure. Within 
each Specialist Library the management 
structure generally worked with the reference 
advisory group contributing advice and 
guidance that should help satisfy the needs of 
a professional and lay audience.  
 
The evaluation is limited in that only around 
half of the Specialist Libraries provided 
interview data. It is possible that some of those 
not interviewed had examples of good 
practice that were not identified. However, the 
community of information specialists was 
operating well, and it is likely that news about 
developments in other Libraries would be well 
known and brought to the attention of the 
evaluators.  
 
Conclusions 
 
The evaluation indicated that the Specialist 
Libraries were operating as communities of 
practice although not at a very advanced 
stage. 
 
Librarians developing virtual communities of 
practice should pay close attention to the 
design of learning activities that might be 
expected of the engaged stage of development 
and the type of collaborative work typical of 
the active stage of development. Librarians 
need to do much more than collection 
management for communities of practice to 
develop successfully – the information 

 
 

58



Evidence Based Library and Information Practice 2010, 5.1 
 

professional has to interact with users far 
more intensively. The emphasis should be on 
encouraging contributions from community 
members and engaging them in activities 
relevant to their practice.  
 
The NLH acted on many of the 
recommendations of the evaluation. For 
example, Specialist Collections now have 
access to the content management system for 
their own home page (a move supported by 
the updated literature review on the 
importance of contingent approaches to 
design). In future more personalisation might 
be expected from members of a community of 
practice accustomed to downloading 
applications (apps) for their own electronic 
devices. 
 
Structuring library and information services 
around community of practice principles 
appears effective, and within the UK, NHS 
Scotland is following these principles in 
design of their knowledge networks 
(Caldwell, Davies, Stewart, Thain, & Wales, 
2008). Such services build on the social 
learning that happens naturally among 
professionals (although the updated literature 
suggests that power relations can be tricky to 
handle, with different professional groups 
having different values and approaches to 
learning and expectations of their 
responsibilities). Some of the difficulties of 
power relations may be lessened through 
design of structures such as the reference 
advisory groups for the Specialist Libraries, 
which encouraged input from a wide range of 
stakeholders.  
 
A community of practice is a win‐win scenario 
for supporting evidence based practice, 
provided appropriate and relevant solutions 
for the professional community and their 
problems are designed. As the updated 
literature review suggests, we still need to find 
good criteria to judge the effectiveness of 
communities of practice, but ongoing 
systematic reviews may provide that evidence. 
 
 
 

Acknowledgements 
The authors thank the NLH team and the NHS 
Information Authority for funding this 
research. We are very grateful to all those who 
consented to be interviewed, or who 
contributed to the research in other ways. We 
are also very grateful to the reviewers for their 
constructive comments which have improved 
the paper.  
 
An earlier version of this paper was presented 
at the EBLIP5 conference in Stockholm, 
Sweden, June 29‐July 3, 2009, and was 
awarded best oral presentation. 
 
Declaration of Interests 
 
Christine Urquhart is part of a team working 
under the auspices of the Cochrane Effective 
Practice and Organisation of Care Group to 
systematically review the evidence for the 
effectiveness of communities of practice on 
health care delivery and professional 
performance. 
 
 
References 
 
Barwick, M. A., Peters J., & Boydell, K. (2009). 

Getting to uptake: Do communities of 
practice support the implementation 
of evidence‐based practice? Journal of 
the Canadian Academy of Child and 
Adolescent Psychiatry, 18(1), 16‐29. 

 
Bate, S. P., & Robert G. (2002). Knowledge 

management and communities of 
practice in the private sector: Lessons 
for modernizing the National Health 
Service in England and Wales. Public 
Administration, 80(4), 643‐663. 

 
Becerra‐Fernandez, I., González A., & 

Sabherwal R. (2004). Knowledge 
management: Challenges, solutions, and 
technologies. Upper Saddle River, NJ: 
Pearson Education.  

 
Braithwaite, J., Westbrook, J. I., 

Ranmuthugala, G., Cunningham, F., 
Plumb, J., Wiley, J., . . . Debono D. 

 
 

59



Evidence Based Library and Information Practice 2010, 5.1 
 

(2009). The development, design, 
testing, refinement, simulation and 
application of an evaluation 
framework for communities of 
practice and social‐professional 
networks. BMC Health Services 
Research, 9, 162. doi:10.1186/1472‐6963‐
9‐162 

 
Caldwell, L., Davies, S., Stewart, F., Thain, A., 

& Wales, A. (2008). Scottish toolkit for 
knowledge management. Health 
Information & Libraries Journal 25(2), 
125‐134. 

 
Catino, M. (1999). Learning and knowledge in 

communities of work practice: the 
case of the pilot plants at Cer‐Montell. 
In M. Easterby‐Smith M., L. Araujo, & 
J. Burgoyne (Eds.), Organizational 
learning. 3rd international conference, 
Lancaster. Lancaster: University of 
Lancaster. 

 
Cheah Y.‐N., & Abidi, S. S. R. (2001). The role 

of information technology in the 
explication and crystallization of tacit 
healthcare knowledge. Health 
Informatics Journal, 7(3), 158‐167. 

 
Cox, A. (2005). What are communities of 

practice? A comparison of four 
seminal works. Journal of Information 
Science, 31(6), 527‐540. 

 
Curran‐Smith, J., & Abidi, S. S. R. (2007). 

Evaluation of an online discussion 
forum for emergency practitioners. 
Health Informatics Journal 13(4), 255‐
266. 

 
Curran‐Smith, J., & Abidi, S. S. R., & Forgeron, 

P. (2005). Towards a collaborative 
learning environment for children’s 
pain management: Leveraging an 
online discussion forum. Health 
Informatics Journal, 11(1), 19‐31. 

 
Dopson, S., Fitzgerald, L., Ferlie, E., Gabbay, J., 

& Locock, L. (2002). No magic targets! 
Changing clinical practice to become 

more evidence‐based. Health Care 
Management Review, 27(3), 35‐47. 

 
Dubé, L., Bourhis, A., & Jacob, R. (2005). The 

impact of structuring characteristics 
on the launching of virtual 
communities of practice. Journal of 
Organizational Change Management, 
18(2), 145‐166. 

 
Eraut, M. (2000). Non‐formal learning and 

tacit knowledge in professional work. 
British Journal of Educational 
Psychology, 70(1), 113‐116. 

 
Eysenbach, G., Powell, J., Englesakis, M., Rizo, 

C., & Stern, A. (2004). Health related 
virtual communities and electronic 
support groups: systematic review of 
the effects of online peer to peer 
interactions. British Medical Journal 
(BMJ), 328(7449), 1166‐1171. 

 
Falkman, G., Gustafsson, M., Jontell, M., & 

Torgersson, O. (2008). SOMWeb: a 
Semantic Web‐based system for 
supporting collaboration of 
distributed medical communities of 
practice. Journal of Medical Internet 
Research, 10(3), e25. doi: 
10.2196/jmir.1059 

 
Ferlie, E., Fitzgerald, L., Wood, M., & 

Hawkins, C. (2005). The nonspread of 
innovations: the mediating role of 
professionals. Academy of Management 
Journal, 48(1), 117‐134. Retrieved 26 
Feb. 2010 from 
http://www.mangematin.org/MCOI/T
extes%202006‐7/amj2005%20ferlie.pdf 

 
Fox, S. (2000). Communities of practice, 

Foucault and actor‐network theory. 
Journal of Management Studies, 37(6), 
853‐867. 

 
Fuller, A., Hodkinson, H., Hodkinson, P., & 

Unwin, L. (2005). Learning as 
peripheral participation in 
communities of practice: a 
reassessment of key concepts in 

 
 

60



Evidence Based Library and Information Practice 2010, 5.1 
 

workplace learning. British Educational 
Research Journal, 31(1), 49‐68. 

 
Fung‐Kee‐Fung, M., Goubanova, E., Sequira, 

K., Abdulla, A., Cook, R., Crossley, C., 
Stern, H. (2008). Development of 
communities of practice to facilitate 
quality improvement initiatives in 
surgical oncology. Quality Management 
in Health Care, 17(2), 174‐185. 

 
Gabbay, J., le May, A., Jefferson, H., Webb, D., 

Lovelock, R., Powell, J. & Lathlean, J. 
(2003). A case study of knowledge 
management in multi‐agency 
consumer‐informed “communities of 
practice”: Implications for evidence‐
based policy development in health 
and social services. Health, 7(3), 283‐
310. doi:10.1177/1363459303007003003 

 
Gabbay, J., & le May, A. (2004). Evidence 

based guidelines or collectively 
constructed “mindlines?” 
Ethnographic study of knowledge 
management in primary care. British 
Medical Journal (BMJ), 329(7473), 1013‐
1017. 

 
Giordano, R. (2007). An investigation of the 

use of a wiki to support knowledge 
exchange in public health. In 
Conference on supporting group work: 
Proceedings of the 2007 international 
ACM conference on supporting group 
work, November 04‐07, Sanibel Island, 
Florida. Retrieved 26 Feb. 2010 from 
http://delivery.acm.org/10.1145/13200
00/1316664/p269‐
giordano.pdf?key1=1316664&key2=19
95027621&coll=GUIDE&dl=GUIDE&C
FID=77838471&CFTOKEN=88621490 

 
Gongla, P. & Rizzuto, C. R. (2001). Evolving 

communities of practice: IBM Global 
Services experience. IBM Systems 
Journal, 40(4), 842‐862. 

 
Greenfield, D., Travaglia, J., Nugus, P., & 

Braithwaite, J. (2007). Health sector 
community of practice: final report. A 

content analysis and systematic 
review of the health community of 
practice research literature. In 
University of New South Wales, Faculty 
of Medicine. Retrieved 26 Feb. 2010 
from 
http://www.med.unsw.edu.au/medwe
b.nsf/resources/2007Articles1/$file/He
alth+Sector+CoP+Literature+Review.p
df 

 
Greenhalgh, T., Robert, G., MacFarlane, F., 

Bate, P., & Kyriakidou, O. (2004). 
Diffusion of innovations in service 
organizations: systematic review and 
recommendations. The Milbank 
Quarterly, 82(4), 581‐629. 

 
Hildreth, P. M., Kimble, C., & Wright, P. 

(1998). Computer mediated 
communication and international 
communities of practice. In Computer 
Mediated Communications and 
Communities of Practice. Proceedings of 
Ethicomp’98, March 1998, Erasmus 
University, The Netherlands. Retrieved 
26 Feb. from 
http://papers.ssrn.com/sol3/papers.cf
m?abstract_id=681184 

 
Kling, R. & Courtright, C. (2003). 

Characterizing collective behavior 
online: The social organization of 
hangouts, clubs, associations, teams 
and communities. The Information 
Society, 19(3), 221‐235. 

 
Lau, F., & Hayward, R. (2000). Building a 

virtual network in a community 
health research training program. 
Journal of the American Medical 
Informatics Association, 7(4), 361‐377. 

 
Lave, J., & Wenger, E. (1991). Situated learning: 

legitimate peripheral participation. 
Cambridge: CUP. 

 
Lesser, E. L., & Storck, J. (2001). Communities 

of practice and organizational 
performance. IBM Systems Journal, 
40(4), 831‐841. 

 
 

61



Evidence Based Library and Information Practice 2010, 5.1 
 

 
 

62

Li, L. C., Grimshaw, J. M., Nielsen, C., Judd,  
M., Coyte, P. C., & Graham, I. D. 
(2007). Use of communities of practice 
in business and health care sectors. 
Implementation Science, 4, 27. 
doi:10.1186/1748‐5908‐4‐2 

 
Mallinson, S., Popay, J., Kowarzik, U., & 

Mackian, S. (2006). Developing the 
public health workforce: A 
“communities of practice” 
perspective. Policy & Politics,, 34(2), 
265‐285. 

Markus, L. M. (2001). Toward a theory of 
knowledge reuse: Types of knowledge 
reuse situations and factors in reuse 
success. Journal of Management 
Information Systems, 18(1), 57‐93. 

 
Moreno, A. (2001). Enhancing knowledge 

exchange through communities of 
practice at the Inter‐American 
Development Bank. Aslib Proceedings, 
53(8), 296‐308. 

 
Nutley, S. M., & Davies, H. T. O. (2001). 

Developing organizational learning in 
the NHS. Medical Education, 35(1), 35‐
42. 

 
O’Dell, C., Hubert, C. & McDermott, R. (2001). 

Building and sustaining communities of 
practice: continuing success in knowledge 
management. Houston, TX: American 
Productivity & Quality Center. 

 
Russell, J., Greenhalgh, T., Boynton, P. & 

Rigby, M. (2004). Soft networks for 
bridging the gap between research 
and practice: Illuminative evaluation 
of CHAIN. British Medical Journal 
(BMJ), 328(7449), 1174‐1179. 

 
Sheffield, J. (2008). Does health care for 

systemic development? Systems 
Research and Behavioral Science, 25(2), 
283‐290. 

Tolson, D., Booth, J. & Lowndes, A. (2008). 
Achieving evidence‐based nursing 
practice: impact of the Caledonian 

Development Model.” Journal of 
Nursing Management, 16(6), 682‐691. 

 
Urquhart, C., Yeoman, A., & Sharp, S. (2002). 

NeLH communities of practice evaluation 
report. Aberystwyth: University of 
Wales Aberystwyth. Retrieved 26 Feb. 
2010 from 
http://users.aber.ac.uk/cju/nelhcop1.6‐
revisedfinal.doc 

 
Wenger, E. (1998). Communities of practice: 

Learning, meaning and identity. 
Cambridge: CUP. 

 
White, M. (2001). Communities of practice. 

Freepint, 101. Retrieved 26 Feb. 2010 
from 
http://www.freepint.com/issues/29110
1.htm#feature 

 
Yeoman, A., Urquhart, C., & Sharp, S. (2003). 

Moving communities of practice 
forward: The challenge for the 
National electronic Library for Health 
and its Virtual Branch Libraries. 
Health Informatics Journal, 9(4), 241‐
252. 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 



Evidence Based Library and Information Practice 2010, 5.1 
 

Appendix 1  
 
Interview schedule  
 
Participants were sent the questions for the interview in advance. The order of questions varied 
according to the focus of the interview and whether the interviews were being conducted with the 
clinical lead or the information specialist.  
 
Background and organisation 
 
1. Please tell me a bit about the background to your Specialist Library. 
2. How does the Specialist Library team operate and what contact is there with developers of other 
Specialist Libraries? 
3. Are there any particular problems with the development of the Specialist Library (e.g., innovation 
versus conformity with NeLH norms)?  
4. How do you see the link between your Specialist Library and the NeLH?  
5. What links do you have to the NKS and/or the Map of Medicine?  
 
Supporting the community of practice/stakeholders 
 
7. Do you have a perception of the Specialist Library as serving an identifiable community of 
practice? 
8. Do you see a role for the Specialist Library in encouraging collaborative working within the 
community of practice? 
9. Are there areas of unmet information need in your specialism, and will the Specialist Library help 
to address them?  
10. Do you see a training or mentoring role for the Specialist Library? 
11. How do you ensure that the information available via the Specialist Library is current and 
appropriate to the members of the community? 
12. Are there other organisations within the specialism that provide a similar service to the Specialist 
Library?  
 
Audit and future development 
 
13. Do you collect usage statistics and, if so, what do you do with them? 
14. What evaluation mechanisms are in place? 
15. Do you know what will happen when your grant ends – have you made any contingency/future 
plans? 
 
NB: At the time of the interviews, the Specialist Libraries were still part of the National electronic 
Library for Health (NeLH). Migration to the National Library of Health occurred in 2006. 
 
 

 
 

63


	Christine Urquhart
	Methods
	Discussion
	Conclusions