Evidence Based Library and Information Practice   


Evidence Based Library and Information Practice 2010, 5.2 
 

   Evidence Based Library and Information Practice  
 
 
 
Article 
 
Evaluating Qualitative Research Studies for Evidence Based Library and Information 
Practice 
 
Doug Suarez 
Liaison Librarian 
Brock University, Ontario, Canada 
Email: dsuarez@brocku.ca 
 
Received:  21 Jan. 2010          Accepted: 21 Apr. 2010 
 
 
 2010 Suarez. This is an Open Access article distributed under the terms of the Creative Commons‐Attribution‐

Noncommercial‐Share Alike License 2.5 Canada (http://creativecommons.org/licenses/by‐nc‐sa/2.5/ca/), which 
permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly 
attributed, not used for commercial purposes, and, if transformed, the resulting work is redistributed under the 
same or similar license to this one. 
 
 

Abstract 
 
Objective ‐ Research studies in the literature that may be useful for solving 
professional practice questions are frequently based on findings from studies that use 
qualitative methods. Criteria used to appraise qualitative research are still evolving 
and often lack the readily understood precision of the numerical criteria used for 
quantitative research. Qualitative research studies can often be more valuable than 
quantitative studies for a given situation. This article offers a template to assess 
qualitative methods used in practitioner‐led research for library and information 
science. 
 
Methods – This paper presents a narrative scenario of a library management problem.  
After conducting a literature search, the author identified an article with apparent 
relevance and potential to help resolve the problem. The author then evaluated the 
article using an assessment framework to illustrate how qualitative library research 
can be assessed. The paper examines the components of the framework, and explores 
the process. 
 
Results ‐ The appraisal of the selected article demonstrates that qualitative methods 
used in library research can be critically evaluated for evidence to assist librarians in 
addressing their professional practice questions.   
 
Conclusions ‐ Results obtained from qualitative research projects can be applied as 
evidence to support library practice. Qualitative methods are useful, and for many 

 
 

75



Evidence Based Library and Information Practice 2010, 5.2 
 

 
 

76

library practice issues, the assessment process illustrated here will help librarians 
evaluate the evidence and assess its appropriateness for practice. 

 
 
Introduction  
 
Library professionals often find themselves in 
situations where they need answers to 
questions that emerge from their professional 
practice. One method to obtain the answers is 
to search the professional literature. The 
ability to assess the quality of the research 
studies found in a literature search is essential 
in order to evaluate and apply the findings to 
answer these questions in a meaningful and 
useful manner. Depending on the research 
design used in these studies, the methods of 
collecting data and their analysis may include 
either quantitative, or qualitative, or a 
combination of both methods.  Many library 
research studies use a variety of methods that 
are selected for their appropriateness to best 
suit the research design (Fidel, 2008).  For 
example, to determine how effectively the 
library’s journal collection is meeting faculty 
and student needs, quantitative methods 
might include surveys as well as qualitative 
methods such as interviews, focus groups, and 
observation studies with selected student and 
faculty populations within a library.  To find 
out if a specific change in service has had an 
effect (e.g., adding specific journal titles), this 
service intervention could be measured before 
and after implementation by using survey or 
other instruments to collect numerical data.  In 
this example data could be obtained for the 
number of journal titles used before and after 
the introduction of new titles. If librarians also 
wanted to assess the perceptions of students 
and faculty to this service intervention, then 
interviews and focus groups could be 
conducted to collect this sort of data. 
 
No matter what methods are employed to 
gather and analyse research data, the findings 
have to be assessed before the evidence can be 
used for practice. Given (2006) argued 
persuasively for the acknowledgment of 
qualitative research within evidence based 
practice library and information practice and 
also outlined the qualitative paradigm and the 

importance of its approach. Booth (2009b) 
recently acknowledged that where assessment 
is based on good practical client‐centered 
evaluation models, it can contribute usefully 
to well‐informed decisions at the local level. 
While librarians have always been cognizant 
of the inherent value of library research, the 
recent trend for evidence based practice has 
provided a focus for improved research 
quality.  Evidence based practice in library 
science has been associated largely with 
research in health sciences librarianship and is 
often referred to as evidence based 
librarianship or, most recently, evidence based 
library and information practice (EBLIP).  
Eldredge (2002) and others (Booth, 2003; 
Booth, 2009b; Booth & Brice, 2004; 
Koufogiannakis & Crumley, 2006) have noted 
that reliable and valid evidence has become 
the expected norm for evidence based practice 
in most library and information studies 
research, regardless of specific library 
contexts.  
 
The assessment criteria used in EBLIP are 
more arguably appropriate for quantitative 
methods, perhaps because of the fundamental 
difference between the paradigms with which 
evidence based practice has traditionally been 
associated.  According to Loiselle, Profetto‐
McGrath, Polit, and Beck (2007), the 
positivistic paradigm is “the traditional 
paradigm underlying the scientific approach, 
which assumes that there is a fixed, orderly 
reality that can be objectively studied; often 
associated with quantitative research” (p. 508). 
The naturalistic paradigm is an alternative to 
this, in that there are “multiple interpretations 
of reality, and the goal of research is to 
understand how individuals construct reality 
within their context; often associated with 
qualitative research” (p. 506).  The credibility 
and accuracy of data generated from 
quantitative methods may well be more 
readily understood because of their numeric 
nature and subject to interpretation and 
analysis by statistical methods, whereas the 



Evidence Based Library and Information Practice 2010, 5.2 
 

data generated by qualitative studies are 
interpreted and analyzed almost 
simultaneously and integrated into a unified 
whole. Because of this fundamental difference, 
the transferability, or generalizability, of 
findings from quantitative methods may be 
more easily accepted as valid, compared to the 
findings of qualitative methods. Quantitative 
studies are part of the traditional scientific 
method, subject to numerical analysis, and 
reported in a style based on the traditional 
scientific report format that is normally 
accepted as being an objective description of 
the research.  Bazerman (1988) referred to this 
style as “prescriptive rhetoric” (p. 275). 
Sandelowski and Barroso (2002) argued that 
research findings are more difficult to locate 
and communicate in qualitative studies, 
because the methods and findings are not as 
easily suited to this style.  Qualitative methods 
and the results obtained from using such 
methods have sometimes been suspect, 
regarded as less rigorous than other methods, 
and even devalued (Booth, 2009b; Bradley, 
1993; Johannsen, 2004; Fitzgerald & Galloway, 
2001).  As a result, research outcomes 
generated from qualitative studies may not be 
regarded as evidence, and they may not be 
disseminated or used as widely as they could 
be (Devers, 1999). 
 
How do librarians know when qualitative 
research findings provide evidence that can be 
used to assist them in their library practice?  
One way is to use an assessment framework. 
When assessing qualitative research, the seven 
criteria should be considered and incorporated 
in the process, and these are generally 
included in some format in many assessment 
frameworks (Cohen & Crabtree, 2008):  
 

• Maintaining an ethical research policy. 
• Importance of the research. 
• Clarity and coherence of the research 

proposal. 
• Use of appropriate and rigorous 

methods. 
• Incorporating reflexivity (critical self‐

reflection).  
• Attending to researcher bias. 

• Establishing validity (i.e., credibility) 
and reliability (i.e., verification). 

 
Beck and Manuel (2008) list some of the most 
common errors in research assessment that 
frameworks help identify.  Some of those 
errors include: 
 

• Not asking the right question or not 
asking the question in the right way. 

• Gathering data at the wrong time or 
place. 

• Using unrepresentative samples, or 
failing to recognize possible response 
bias among those members of the 
sample who do respond. 

• Failing to control for or consider 
possible experimenter expectancy 
effects that arise when researchers’ 
measurements are shaped to match 
their own hypotheses or expectations. 

• Not allowing for research biases (e.g., 
the Hawthorne effect, the effect on 
data results from research subjects’ 
awareness that they are being 
studied). 

• Over‐generalizing to conclusions not 
directly supported by the research 
data (generalizability validity).  

 
This article outlines the process of reviewing 
qualitative research methods by presenting a 
dilemma as part of a library practice scenario. 
Part of this scenario will include an article 
from a literature search that will be evaluated 
in the course of the assessment exercise. The 
article will  discuss and review a range of 
assessment tools and present a possible 
framework for assessing library research.  In 
the critique of the article, this paper will use 
the framework’s component parts to identify 
the process of discovering and evaluating the 
evidence. While it is not the intention here to 
provide a comprehensive review of qualitative 
and quantitative methods, the assessment 
framework will address key elements of 
evaluation, particularly as these elements 
pertain to qualitative methods. The paper will 
also discuss these elements of evaluation in 
relation to quantitative methods in this 
context.  

 
 

77



Evidence Based Library and Information Practice 2010, 5.2 
 

 
 

78

Academic training in anthropology and 
working experience in academic libraries have 
contributed to the author’s commitment to the 
use of qualitative methods in professional 
library practice (Suarez, 2007).  The discipline 
of anthropology is well known for its 
productive use of qualitative methods, and it 
shares many of the same theoretical and 
methodological procedures and methods used 
in other social science and health science 
disciplines. (Berg, 2004; Bryman, 2004; 
Creswell, 2009; Griffiths, 2009; Sandelowski, 
2004).  The purpose of this article is to 
demonstrate that there is a place for 
qualitative research methods within evidence 
based library and information practice and to 
help librarians determine whether the research 
has been conducted rigorously.  
 
Methodology 
 
The following library scenario illustrates a 
typical academic library practice situation 
requiring resolution: 
 
 A liaison librarian for social science and applied 
health science disciplines at a mid‐sized university 
has a dilemma. The university has recently 
expanded its Department of Graduate Studies.  
Two of the librarian’s subject specialties, sociology 
and kinesiology, currently have high 
undergraduate enrollments. With the expansion of 
the graduate program, the demands for library 
services are expected to grow exponentially. Both 
the university and library mission statements 
include statements about taking positive steps to 
meet the needs of graduate students.  While there 
have always been graduate programs offered at the 
university, this expansion is expected to cause 
serious strains on programs and services. How this 
change will affect the liaison librarian’s role and 
effectiveness, particularly from the point of view of 
teaching information seeking skills to graduate 
students, will be challenging.  The librarian 
suspects that graduate students will need different 
levels of instruction, but is not sure if this can be 
substantiated, or if it is just an intuitive 
observation. Initially the librarian thinks that a 
literature search would be appropriate as part of a 
needs assessment. The librarian conducts a search 

in standard subject related databases using the 
terms “graduate students” and “information 
literacy.” The search is limited to recent peer‐
reviewed journals published in the last 5 years; the 
search retrieves 17 article citations.  The librarian 
browses the abstracts and selects one article that 
looks particularly relevant. Titled “Development of 
information search expertise: postgraduates’ 
knowledge of searching skills” (Chu and Law 
2007), the article appears to address her main areas 
of interest. The librarian notes that the study 
employs qualitative methods in its research design.  
The librarian downloads a copy of the article and 
proceeds to read and assess its worth.   
 
Assessment Tools 
 
There are a number of readily available tools 
to help evaluate qualitative research. 
Examples include the Joanna Briggs Institute 
QARI assessment tool (Briggs, 2009) and the 
Critical Appraisal Skills Programme (CASP) 
worksheet created by the Public Health Resource 
Unit, National Health Service (2006). These were 
developed and have been used to assess the 
rigor of research method and the credibility and 
relevance of research findings in studies that use 
qualitative methods.  Other assessment tools 
have referred to library guidelines or checklists 
developed by national organizations (American 
Library Association, 2004) or in‐house (Ward, 
2004; Fitzgerald & Galloway, 2001).  These in‐
house assessment tools often have limited value 
because of their specificity. The Critical Skills 
Training in Appraisal for Librarians (CriSTAL) 
checklists developed for appraising library 
studies (Booth & Brice, 2003) and the EBL critical 
appraisal checklist (Glynn, 2006) are good 
examples of tools used for critical appraisal of 
EBLIP.   
 
The particular tool used here for illustrative 
purposes has been selected on the basis of its 
brevity, clarity, and adaptability for library 
practice. In their article on evaluating qualitative 
research studies in nursing practice, Russell and 
Gregory (2003) presented a list of questions, to 
use in assessing qualitative research. This has 
been adapted for use in library practice and is 
reproduced in Table 1 below.  

 



Evidence Based Library and Information Practice 2010, 5.2 
 

Table 1 
Questions to Help Critically Appraise Qualitative Research (adapted from Russell and Gregory, 2003) 
1. Are the findings valid? 

a. Is the research question clear and adequately substantiated? 
b. Is the design appropriate for the research question? 
c. Was the sampling method appropriate for the research question? 
d. Were data collected and managed systematically? 
e. Were the data analyzed appropriately? 

2. What are the findings? 
a. Is the description of findings thorough? 

3. How can the findings be applied to library practice? 
a. What meaning and relevance does the study have for library practice? 
b. Does the study help me understand the context of library practice?  
c. Does the study enhance my knowledge about library practice? 

 
Description of the Assessment Framework 
and Article Critique 
  
Librarians can use the three main criteria 
headings of Russell and Gregory’s framework 
as a model to evaluate qualitative library 
research: 

• Are the findings valid?  
• What are the findings?  
• How can the findings be applied to 

library practice?  
 
1. Are the findings valid?  
 
The librarian should start by looking for a 
clear statement of the question that the study 
sought to answer, as well as looking for factors 
that make this relevant for the librarian’s 
particular library practice question.  The 
question should be clearly stated within the 
context of prior research and should include 
relevant literature referents.  The research 
design should be clearly defined and 
explained and the narrative should include a 
clear discussion of the qualitative approaches 
that have been used and why.  Possible 
research approaches might include grounded 
theory, phenomenology, case studies, or 
narrative and historical research, among 
others.  Whatever approach is used should fit 
the research question, and the methods of 
sampling should be appropriate for the 
research question (Creswell, 2009).   
 
Sampling tends to be purposive, rather than 
random, in qualitative studies; i.e., the sample 

tends to be selected for the potential richness 
of its contribution, rather than randomly as in 
quantitative studies.  The sample size tends to 
be small to allow for the tendency of 
qualitative research to enfold and provide rich 
descriptive data.  The reasons for the sample 
selection, its size, and the description of the 
process used to select the sample, should be 
thoroughly presented and discussed, because 
the study results may not be meaningful, or 
easily transferable, outside the study’s 
immediate context.  Researchers judge the 
relevance of a sample in relation to the study 
results, and the librarian should be able to 
assess the validity of the results by their 
comprehensiveness and by the extent to which 
the research questions were answered. 
 
How the data were collected, whether by field 
observation, document analysis, or interviews, 
should be thoroughly described and judged to 
avoid bias and misleading results.  Typically 
the article should explain to the reader the 
number of observations, interviews, or 
documents used. It should also explain how 
the data were collected ‐‐ by whom, when, and 
for how long a period of time.  Finally, the 
data analysis phase of the study should be 
clearly described.  This is extremely important 
in qualitative research, because the research 
question is often exploratory. In the analysis, 
the researcher describes the data retrieved, 
explains how the data is collected, discusses 
patterns observed, and organizes the results 
into a conceptual framework.  Data collection 
continues in a cyclical pattern until saturation 

 
 

79



Evidence Based Library and Information Practice 2010, 5.2 
 

(informational redundancy) is observed, and 
the researchers decide that no new 
information is likely to emerge to change the 
conceptual framework. (This is often assumed 
and not elaborated upon in most qualitative 
studies.) Data analysis software packages such 
as NVivo are sometimes used to store, 
organize, and retrieve qualitative data, but 
they do not actually analyze the data.  
Researchers often demonstrate data 
collaboration with the use of other information 
resources (often referred to as triangulation), 
and this includes the use of methods such as 
surveys to add weight to the analysis.  The 
methods used and how the data were 
analyzed need to be thoroughly discussed and 
presented to ensure their depth and breadth so 
that the librarian can judge how meaningful 
they appear in relation to the research 
question and to her own library practice 
situation. 
 
Article Critique: 
 
Chu, S. K.‐W., & Law, N. (2007).  Development 
of information search expertise: 
Postgraduates’ knowledge of searching skills.  
portal: Libraries and the Academy, 7(3), 295‐316. 
 
This assessment of Chu and Law’s article 
utilizes the five subheadings in this category : 

a. Is the research question clear and 
adequately substantiated? 

Chu and Law (2007) explored the information 
searching skills used by two groups of 
doctoral students when they searched 
databases to find research studies to support 
their academic program requirements 
(engineering and education). They had three 
research questions: What were the information 
searching behaviours and skills of two groups 
of graduate students, and how had these skills 
developed over time? Were these skills used 
more often when the students became more 
familiar with searching techniques and 
databases? What similarities and differences 
exist between the two groups in terms of 
information searching behaviour and skills? 
The literature review provided references to 
previous studies where results indicated 

graduate students’ research skills were 
inadequate. Two major approaches used by 
study participants were noted in the literature 
review: novice‐expert comparison; and 
developmental studies of expertise. In the first 
instance, other researchers had studied the 
characteristics of experts in a given subject 
field but had not, for the most part, looked at 
the development of these skills over time.  In 
the second instance, more studies were 
identified that looked at various components 
of the search process, including search tactics 
and operators, keyword searching, Boolean 
searching, subject searching, author and title 
searching, and browsing. The population 
samples of these studies were largely 
comprised of undergraduate students.    
 
b. Is the design appropriate? 
 
Chu and Law wanted to investigate graduate 
students’ development of information 
searching expertise over time, but they 
discovered there was a lack of longitudinal 
searching behaviour studies. They designed a 
longitudinal study with a small participant 
sample in order to gain an in‐depth 
understanding of the processes used by two 
groups of graduate students as they moved 
from novice to expert information searchers. 
 
c. Was the sampling method appropriate for 
the research question and design?  

Twelve graduate students (six from 
engineering and six from education) were 
purposively selected for this study.  All but 
one were first‐year graduate students and 
were appropriate participants for establishing 
a baseline of novice searchers. The remaining 
student was a part‐time third‐year student 
who self‐identified as someone who needed 
more help with searching techniques.  
Selecting three male and three female 
participants from each of the two academic 
disciplines minimized gender effect bias.  It 
was not entirely clear why these two 
disciplines were more appropriate to study 
than others, apart from their disparate natures 
(science versus social science), but this did not 
compromise the study’s value, as the study 

 
 

80



Evidence Based Library and Information Practice 2010, 5.2 
 

made no claim to be comparing specific 
disciplines.  Any idiosyncrasies associated 
with searching behaviour within each 
discipline were not the main aims of the 
research and did not compromise the study.  
 
d. Were data collected and managed 
systematically? 
 
Four kinds of data were collected for analysis: 
written search queries; think‐aloud strategies; 
self‐reporting questionnaires; and interviews.  
Students used written search statements when 
they searched databases, and when students 
performed their searches they used think‐
aloud strategy protocol verbalizations. These 
two data sets were collected from a series of 
five meetings with individual students over a 
one‐year period.  The authors provided a good 
description of each meeting: First, a student 
would perform a search for twenty minutes, 
followed by the researcher demonstrating how 
he would do the same search (also twenty 
minutes).  After the researcher’s 
demonstration, the student’s second search 
period followed, and again that would be 
followed by a second demonstration by the 
researcher.  To avoid undue influence from the 
second search period and the researcher’s 
demonstrations, only the first search period 
data was used for analysis. 
 
A self‐reporting questionnaire was 
administered at the end of search meetings 
one, three, and five to help the researchers 
determine what searching knowledge and 
skills each student had.  The authors used a 
Likert scale to ascertain the level of 
importance of (and familiarity with) various 
searching techniques and strategies.  The 
researchers conducted interviews with each 
student to help augment perceptions of the 
searching process. The researchers realized 
that the data from the five search meetings 
was limited and amounted to only 
approximately 90 minutes of research time per 
student. In a future study it would be prudent 
to add other methods of analysis to add more 
depth and breadth to this research and to 
discover more about the students’ searching 
knowledge and skills. It was not clear whether 

the interviews were semi‐structured, what the 
questions were, or when they were conducted 
during the study. 
 
The researchers used common qualitative data 
collecting strategies. They observed the 
searching behaviours and think‐aloud 
statements of search strategies that were 
exhibited by the students in the search 
meetings.  They used document analysis when 
they obtained the initial written search query 
statements from each student prior to their 
searches.  Finally, they used interviews to 
obtain student search experiences. 
 
e. Were the data analyzed appropriately? 

The authors analyzed their data and provided 
a series of tables that listed the results 
obtained from their data analysis: search types 
(keyword, subject, author, title, call number, 
and browse); subject searches (searches that 
use the automatic mapping feature of a 
database); keyword searches; students’ 
familiarity with search knowledge/skills 
(average rating of student search skills); 
importance of search knowledge/skills 
(average rating of student acknowledgment of 
their importance); students’ use of search 
operators and parentheses; students’ 
perceived importance of information search 
skills at the end of the study in meeting five; 
and lastly, the number of students who had 
not obtained the search skills they had 
identified as lacking in the initial meeting. 
 
The authors provided a thorough description 
and discussion of the tables. They used 
consistent terminology and also provided the 
results within a context that could be 
understood easily by the librarians engaged in 
instruction.  Although they did not provide 
details of the interview questions, sufficient 
information about the interview process was 
provided. Presumably these interview 
questions were closely related to the survey 
questions, and the data obtained through 
observation were sufficient to provide good 
data saturation.  
 
 

 
 

81



Evidence Based Library and Information Practice 2010, 5.2 
 

2. What are the findings? 
 
 A well‐written article with clearly 
communicated methods and results will 
provide a thorough understanding of the 
research. Qualitative research is often context 
specific and purports to make sense within 
narrow boundaries, as defined in the research 
question. It is imperative that the researcher 
describes and justifies the findings within that 
context. This will help the librarian to make 
informed decisions about the applicability of 
those findings to the research problem in 
question.  A clear and thorough discussion 
about the limitations of the study is 
particularly important so that librarians can 
judge the relevance of the findings. 
 
Article Critique: 
 
Chu, S. K.‐W., & Law, N. (2007).  Development 
of information search expertise: 
Postgraduates’ knowledge of searching skills.  
portal: Libraries and the Academy, 7(3), 295‐316. 
 
Chu and Law’s article identified several 
research findings that can be assessed: 
 
The authors were primarily interested in 
discovering if students’ searching skills 
improved over time and if their familiarity 
with searching skills contributed to the 
positive development of their expertise.  The 
authors claimed that students’ skills advanced 
as they became more familiar with the various 
search techniques. They identified three major 
findings:  
 

• Library instruction was necessary 
even at the postgraduate level.  

• Being computer literate was not 
the same as being information 
literate.  

• Offering library tailored 
instruction by subject was 
necessary to address different 
academic disciplines.   
 

These findings were clearly articulated and 
based on the evidence that was described and 
presented in the article’s methods section.  The 

research question and findings were 
congruous. Their research articulated how 
students’ knowledge of searching skills 
developed over time and influenced changes 
in searching behaviour as students became 
more familiar with searching techniques. The 
authors concluded that further studies with 
more participants, as well as further studies of 
individual student search strategies within an 
academic discipline, would be useful to obtain 
more reliable data.  
 
3. How can the findings be applied to library 

practice? 
 
Once the librarian has thoroughly read and 
examined the article, its applicability can be 
assessed. It is necessary to reflect on the study 
to make sure the research question, design, 
and the results are congruent.  Using the 
above assessment framework criteria, 
common sense, and personal professional 
experience, a determination must be made 
whether the results can be used as evidence 
for library practice.  This decision will depend 
on professional judgment as to how reliable 
and useful these findings will be for the 
specific library practice setting. 
 
Article Critique: 
 
Chu, S. K.‐W., & Law, N. (2007).  Development 
of information search expertise: 
Postgraduates’ knowledge of searching skills.  
portal: Libraries and the Academy, 7(3), 295‐316. 
 
Finally, Chu and Law’s article can be assessed 
for its applicability under the respective 
subheadings in this section: 
 
a. What meaning and relevance does this 
study have for library practice? 

 
Chu and Law made a strong case for the 
relevance and importance of addressing the 
changing service needs of library clientele. The 
study clearly articulated the library context of 
student learning and emerging instructional 
skills that students were required to have in 
order to succeed in their academic careers. The 
findings provided evidence that graduate 

 
 

82



Evidence Based Library and Information Practice 2010, 5.2 
 

students would and could benefit from 
discipline focused library instruction. 
Subsequently, liaison librarians at their 
university could more realistically target 
groups of students from different faculties and 
emphasize different skills depending on their 
students’ perceived needs.  
 
b. Does the study help me understand the 
context for library practice?  
c. Does the study enhance my knowledge 
about library practice? 

 
From their research results, the authors noted 
the following limitations: small sample size, 
limited number of sampled subject disciplines, 
and recognition that students within a specific 
discipline will exhibit varying search expertise 
and will need an assortment of search skills. 
Therefore, it would be prudent to not 
generalize at the group level and to avoid any 
assumption that the same results would relate 
to sociology and kinesiology exactly. But on 
the whole, this study provides the liaison 
librarian with good evidence for solving the 
scenario problem by planning for tailored 
instruction.  

Discussion  
 
Librarians need to have evidence on which to 
base their informed decisions.  Whenever they 
consult the library literature for the purpose of 
finding evidence to help answer service 
problems in their library practice, the articles 
they choose need to be scrutinized to ensure 
that findings are valid and relevant to their 
practice.  The emerging standards of EBLIP 
require this approach, and librarians in health 
science disciplines have arguably embraced 
this concept more thoroughly than those in 
other academic disciplines (Bayley & 
McKibbon, 2006; Booth, 2003). The intention in 
this article has been to offer an immediate and 
practical method of assessing library research 
that uses qualitative methods, in the broader 
library research context. 
 
If librarians use data from findings that are 
reported in the literature, they need to be 
assured that these findings are valid and 

reliable. Librarians can and should make 
informed decisions about the quality of 
research, no matter what methods are used.  
Qualitative methods need to be assessed 
differently than quantitative methods, because 
of the different paradigms with which they are 
associated, naturalistic and positivistic, 
respectively.  The constructivist nature of the 
naturalistic paradigm, the different research 
problems that lend themselves to this 
paradigm, the different methods of data 
collection and analysis, and the reporting style 
of research studies that use this paradigm can 
make evidence difficult to interpret and 
appraise (Sandelowski & Barroso, 2002).  
Nevertheless, it is possible to appraise 
naturalistic research evidence using a 
framework, such as the one used here, to help 
librarians identify common research errors as 
outlined earlier by Beck and Manuel (2008).  
More research needs to be done in library 
contexts to identify and construct library‐
specific research assessment frameworks that 
address library research problems (Booth, 
2003; Booth, 2009a). In the meantime, 
librarians can use the assessment framework 
illustrated here or similar frameworks to help 
assess evidence to assist them in their ongoing 
library practices. 

Conclusion 
 
The aim of this article has been to help 
librarians evaluate qualitative research so they 
can use it in their daily practice. Evidence 
derived from qualitative methods may be 
disregarded because it can sometimes be 
overlooked. This can be because the research 
results of qualitative studies are compared to 
the findings and rigor associated with 
quantitative methods, or because of the 
inherently different paradigms with which 
each is associated. Taking into account the 
suitability of different approaches and 
methods for specific research problems, 
librarians may not find the evidence or use it 
to best advantage in their professional 
practice. To address this omission, the 
assessment framework suggested here 
illustrates the criteria and process for assessing 
qualitative research, while simultaneously 

 
 

83



Evidence Based Library and Information Practice 2010, 5.2 
 

applying the assessment method as a template 
to critique a research article. The findings have 
been assessed, and the results deemed 
valuable for use in resolving the library 
scenario that was initially provided. 
 
It is anticipated that this article will provide a 
reliable and practical demonstration of how 
library research based on qualitative methods 
can be evaluated and judged on its worthiness 
and then used for evidence to guide EBLIP.  
By employing an assessment framework such 
as the one offered here, and by combining its 
use with personal work experience and 
common sense, librarians will be able to judge 
the inherent value of published library 
research and to use it as evidence for practice. 
 

References 

American Library Association.  (2004).  RUSA 
guidelines for behavioral performance of 
reference and information services providers.  
Retrieved 17 May 2010 from 
http://www.ala.org/ 

Bayley, L., & McKibbon, A. (2006).  Evidence‐
based librarianship: A personal 
perspective from the medical/nursing 
realm.  Library Hi Tech, 24(3), 317‐323. doi: 
10.1108/07378830610692091  

Bazerman, C. (1988).  Shaping written 
knowledge: The genre and activity of the 
experimental article in science.  Madison, 
WI: University of Wisconsin Press. 

 
Beck, S. E. & Manuel, K. (2008).  Practical 

research methods for librarians and 
information professionals.  New York, NY: 
Neal‐Schuman. 

 
Berg, B. L. (2004).  Qualitative research methods 

for the social sciences (5th ed.).  Boston, MA: 
Pearson. 

Booth, A. (2009a). A bridge too far?  Stepping 
stones for evidence based practice in an 
academic context.  New Review of Academic 

Librarianship, 15(1), 3‐34.  doi: 
10.1080/13614530903123534 

Booth, A. (2009b).  Research or evaluation? 
Does it matter?  Health Information and 
Libraries Journal, 26(3), 255‐258. doi: 
10.1111/j.1471‐1842.2009.00858.x 

Booth, A. (2003).  Bridging the research‐
practice gap? The role of evidence based 
librarianship.  New Review of Information 
and Library Research, 9(1), 3‐23. doi: 
10.1080/13614550410001687909 

Booth, A., & Brice, A. (2004).  Why evidence‐
based information practice?  In A. Booth 
& A. Brice (Eds.), Evidence‐based practice 
for information professionals: a handbook (pp. 
1‐13).  London: Facet Publishing. 

Booth, A., & Brice, A. (2003).  Clear‐cut?  
Facilitating health librarians to use 
information research in practice.  Health 
Information and Libraries Journal, 20(Suppl. 
1), 45‐52. doi: 10.1046/j.1365‐
2532.2051.10.x 

Bradley, J. (1993). Methodological issues and 
practices in qualitative research.  Library 
Quarterly, 63(4), 431‐449. doi: 
10.1086/602620 

Briggs, J. (2009). JBI QARI: Qualitative 
assessment and review instrument.  
Retrieved 28 May 2010 from 
http://www.jbiconnect.org/connect/down
loads/QARI_crit_apprais.pdf 

Bryman, A. (2004).  Quantitative and 
qualitative research, debate about.  In M. 
Lewis‐Beck, A. Bryman, & T. Futing Lao 
(Eds.), The Sage encyclopedia of social science 
research methods (pp. 895‐896).  Thousand 
Oaks, CA: Sage. 

Chu, S. K.‐W.,  & Law, N. (2007).  
Development of information search 
expertise: Postgraduates’ knowledge of 
searching skills.  portal: Libraries and the 
Academy, 7(3), 295‐316. 

 
 

84



Evidence Based Library and Information Practice 2010, 5.2 
 

 
 

85

Cohen, D. J. & Crabtree, B. F. (2008).  
Evaluative criteria for qualitative research 
in health care: controversies and 
recommendations.  Annals of Family 
Medicine, 6(4), 331‐339. doi: 
10.1370/afm.818 

Creswell, J. W. (2009).  Research design: 
Qualitative, quantitative, and mixed methods 
approaches (3rd ed.).  Los Angeles, CA: 
Sage. 

Devers, K. J. (1999).  How will we know 
“good” qualitative research when we see 
it? Beginning the dialogue in health 
services research.  Health Services Research, 
34(5 pt. 2), 1153‐1188.   

Eldredge, J. D. (2002).  Evidence‐based 
librarianship: What might we expect in 
the years ahead?  Health Information and 
Libraries Journal, 19(2), 71‐77.   

Fidel, R. (2008).  Are we there yet?  Mixed 
methods research in library and 
information science.  Library & Information 
Science Research, 30(4), 265‐272. doi: 
10.1016/j.lisr.2008.04.001 

Fitzgerald, M. A., & Galloway, C. (2001).  
Relevance judging, evaluation, and 
decision making in virtual libraries: A 
descriptive study.   Journal of the American 
Society for Information Science & 
Technology, 52(12), 989‐1010. 

Given, L. (2006).  Qualitative research in 
evidence‐based practice: A valuable 
partnership.  Library Hi Tech, 24(3), 376‐
386.  doi: 10.1108/07378830610692145 

 
Glynn, L. (2006).  A critical appraisal tool for 

library and information research.  Library 
Hi Tech, 24(3), 387‐399.  doi: 
10.1108/07378830610692154 

 
Griffiths, F. (2009).  Research methods for health 

care practice. Los Angeles, CA: Sage. 
 
Johannsen, C. G. (2004).  Managing fee‐based 

public library services: Values and 

practices. Library Management, 25(6/7), 
307‐315. doi: 10.1108/01435120410547977 

 
Koufogiannakis, D. & Crumley, E. (2006).  

Research in librarianship: Issues to 
consider.  Library Hi Tech, 24(3), 324‐340.  
doi: 10.1108/07378830610692109 

 
Loiselle, C. G., Profetto‐McGrath, J., Polit, D. 

F., & Beck, C. T.  (2007). Canadian 
essentials of nursing research (2d ed.).  
Philadelphia, PA: Lippincott, Williams & 
Wilkins.  

 
Public Health Resource Unit, National Health 

Service. (2006). Critical appraisal skills 
programme (CASP): making sense of 
evidence. Retrieved 28 May 2010 from 
http://www.phru.nhs.uk/Pages/PHD/reso
urces.htm 

Russell, C. K., & Gregory, D. M. (2003). 
Evaluation of qualitative research studies.  
Evidence Based Nursing, 6(2), 36‐40.  doi: 
10.1136/ebn.6.2.36 

Sandelowski, M., (2004).  Qualitative research.  
In M. Lewis‐Beck, A. Bryman, & T. Futing 
Lao (Eds.), The SAGE encyclopedia of social 
science research methods (pp. 893‐894).  
Thousand Oaks, CA: Sage. 

Sandelowski, M., & Barroso, J. (2002).  Reading 
qualitative studies.  IJOM: International 
Journal of Qualitative Methods, 1(1), 74‐108. 
Retrieved 28 May 2010 from 
http://ejournlas.library.ualberta.ca 

Suarez, D. (2007).  What students do when 
they study in the library: Using 
ethnographic methods to observe student 
behavior.  E‐JASL:The Electronic Journal of 
Academic and Special Librarianship, 8(3). 
Retrieved 28 May 2010 from 
http://southernlibrarianship.icaap.org/ 

 
Ward, D., (2004).  Measuring the completeness 

of reference transactions in online chats: 
Results of an unobtrusive study.  
Reference & User Services Quarterly, 44(1), 
46‐56. 

 


	Abstract
	Discussion 
	Conclusion
	References