Microsoft Word - ART_Clark.doc


Evidence Based Library and Information Practice 2007, 2:3 
 

 3

   Evidence Based Library and Information Practice  
 
 
 
Article 
 
Information Skills Survey: Its Application to a Medical Course  
 
 
Catherine Clark  
Associate Science Librarian  
The University of Western Australia Library  
Perth, Western Australia  
E‐mail: caclark@library.uwa.edu.au  
 
Dr. Ralph Catts  
Senior Research Fellow, Applied Educational Research Scheme  
Institute of Education, University of Stirling  
Airthrey Castle, Stirling, Scotland  
E‐mail: ralph.catts@stir.ac.uk  
 
 
Received: 26 April 2006   Accepted: 16 May 2007 
 
 
© 2007 Clark and Catts. This is an Open Access article distributed under the terms of the Creative 
Commons Attribution License (http://creativecommons.org/licenses/by/2.0), which permits 
unrestricted use, distribution, and reproduction in any medium, provided the original work is 
properly cited. 
 
 

Abstract 
 
Objective ‐ To investigate the validity and reliability of the Information Skills Survey for 
Assessment of Information Literacy in Higher Education (CAUL ISS) (Catts, “Administration 
Manual”) for identifying the information literacy skills of first and fourth‐year medical 
students.  
 
The CAUL ISS is a standardised, 20 item self‐report inventory of information literacy skills 
of higher education students. It exists in two forms, namely a generic form and a law 
discipline specific form. This paper is concerned with the suitability of the generic form of 
the survey for use with medical students.  
 
Methods ‐ The generic form of the CAUL ISS was administered to 86 first‐year and 120 
fourth‐year medical students and the reliabilities were computed. In addition, students 
were asked to respond to two open‐ended questions about their information literacy. 
Subsequently, having noted that the fourth‐year students rated themselves significantly 

mailto:caclark@library.uwa.edu.au
mailto:catts@stir.ac.uk
http://creativecommons.org/licenses/by/2.0
http://creativecommons.org/licenses/by/2.0


Evidence Based Library and Information Practice 2007, 2:3 
 

 4 

more severely on seven of the 20 items, four of this cohort were interviewed to identify the 
extent to which the CAUL ISS addressed the range of their techniques for information use 
and to identify any specific content validity issues in the application of the CAUL ISS scale 
to this population.  
 
Results ‐ The reliability of the CAUL ISS was confirmed for both years, but the evidence 
from an analysis of the individual items and from the open‐ended questions and the 
interviews indicated that the fourth‐year students adopt a wider range of information 
gathering techniques, appropriate to their clinical experience than measured by the survey. 
The CAUL ISS demonstrated content validity for first‐year students but its scope was not 
sufficient for content validity for fourth‐year students. Further investigations are required to 
determine the full scope of competencies required for content validity with the fourth‐year 
cohort. 
 
Conclusion ‐ The evidence suggests that the generic form of the CAUL ISS is suitable for 
use to estimate the information skills of first year medical students. For fourth‐year students, 
suggestions are made for the use of the CAUL ISS in the context of their additional situated 
information literacy.

 
 

Introduction 
 
Lifelong learning can be defined as: “A 
continuously supportive process which 
stimulates and empowers individuals to 
acquire all the knowledge, values, skills and 
understanding they will require throughout 
their lifetimes and to apply them with 
confidence, creativity and enjoyment in all 
roles, circumstances and environments” 
(WILL 5). 
 
To become lifelong learners, individuals 
must have access to needed information, 
and must also be able to judge the quality of 
the information to which they are exposed 
(Candy 8). Therefore, information literacy is 
an essential component of the set of generic 
capabilities needed for lifelong learning. 
 
The definition of information literacy has 
been the subject of debate. The majority of 
definitions have the learner, rather than the 
teacher, as a common focus. One frequently 
used definition is that of the American 
Library Association Presidential Committee 
on Information Literacy: “Ultimately, 
information literate people are those who 

have learned how to learn. They know how 
to learn because they know how knowledge 
is organised, how to find information and 
how to use information in such a way that 
others can learn from them. They are people 
prepared for lifelong learning, because they 
can always find the information needed for 
any task or decision at hand”(ALA Final 
Report 1).  
 
A definition specific to higher education is 
given by the Society of College, National 
and University Libraries: “Information 
literacy encompasses library user education, 
information skills training and education, 
and those areas of personal or transferable 
‘key’ skills relating to the use and 
manipulation of information in the context 
of learning, teaching and research issues in 
higher education“(SCONUL 3). 
 
Information literacy is therefore a wider 
concept than that described by librarians as 
the information seeking process (U 
Auckland 1):  
 

• Defining the topic  
• Selecting and using resources  



Evidence Based Library and Information Practice 2007, 2:3 
 

 5

• Locating information  
• Evaluating resources  
• Documenting the research  

 
Being information literate in one subject area 
does not mean that this expertise can 
necessarily be carried over to another 
subject area (Candy 7; George 282). For 
example, the information skills required in 
humanities are quite different from those 
required in a discipline such as engineering 
(Palmer and Tucker 19). Candy, in his 
chapter ʺMining in Cyberiaʺ(144), notes that 
information literacy in each discipline may 
incorporate a range of different sources and 
strategies.  Information literacy also requires 
the ethical and legal use of information, 
which again is a situated practice.  
 
Information literacy is therefore discipline‐
specific and hence requires application in 
the teaching and learning programmes 
within each discipline.  
 
The identification of the importance of 
information literacy in lifelong learning has 
led to a focus on information literacy 
instruction in the teaching and learning 
programmes of university libraries (Marcum 
2; Orr and Cribb 43). University librarians 
recognise that if information literacy is to be 
acquired, training must be managed using a 
planned instruction programme (Lupton 
25).  
 
In universities, this has translated into a 
push to include information literacy as part 
of course curricula, rather than stand‐alone 
sessions run by the library. Many librarians 
now work closely with faculty to ensure that 
information literacy is included in curricula 
along with other generic attributes, such as 
communication skills (Bundy 1). The 
emphasis on curricula development has 
required librarians to collaborate with 
academic colleagues and put more time into 
liaison and course development. This, 
combined with the change from content to 

skills‐based information training, has 
become a growing source of demand for 
resources (Gedeon 2; Marcum 2; Orr and 
Cribb 49).  
 
In Australia, the emphasis on information 
literacy in higher education was evidenced 
by the publication of a major information 
literacy work. Information Literacy Standards 
was produced in 2001 by CAUL in 
conjunction with The Australian and New 
Zealand Institute for Information Literacy 
(ANZIIL). This publication was updated in 
2004 and published as the Australian and 
New Zealand Information Literacy Framework 
(Bundy). Both of these publications were 
designed to guide higher education 
institutions in developing effective 
information literacy programmes and 
excerpts from each publication are 
presented in Appendix 1.  
 
Evaluation of information literacy programmes  
 
The assessment of individual students’ 
learning in information literacy programmes 
can include quantitative, qualitative and 
practice demonstrations (Palmer and Tucker 
25). Assessment embedded within the 
course has been able to measure individual 
students’ information literacy learning in a 
discipline or class context. This has been 
done in a number of ways including the 
production of bibliographies and search 
strategies (Lupton 26; Iannuzzi 305).  
 
The evaluation of programme effectiveness 
requires data collection from groups of 
students. Hence the interest at this level is 
on the aggregate scores and the stability of 
the group parameters, not the individual 
parameters because it is the programme 
effectiveness that is the focus. While the 
research literature has many examples of 
information literacy programmes, the 
evaluation of groups of students has proved 
to be more problematic and research 
reporting evaluations that use validated 



Evidence Based Library and Information Practice 2007, 2:3 
 

 6

research tools is very limited (Palmer and 
Tucker 25, Bernath and Jenkin 4, Brettle 6, 
Iannuzzi 305, Koufogiannakis and Wiebe 
19). A search of the literature for the period 
1990 to 2006 (Embase, ERIC, LISA, LISTA, 
Medline) did not identify any reported 
evaluations of information literacy 
programmes using validated survey 
instruments to evaluate changes in 
information skills throughout the medical 
course.  
 
The use of a standardized tool to evaluate 
the information literacy skills of large 
groups of students would allow 
comparisons to be made between the 
effectiveness of information literacy 
programmes in different populations within 
the same institution or in benchmarking 
across institutions. The effect of changes to 
teaching and learning strategies for 
information literacy could also be more 
systematically measured.  
 
Information literacy programmes in medicine  
 
In some disciplines, such as clinical 
medicine, information literacy forms part of 
a broader movement that is aimed at 
ensuring that the skills of clinicians reflect 
current best practice. In health care, this has 
been termed Evidence‐Based Clinical 
Practice (EBCP). EBCP follows a five‐step 
process that includes finding the most 
judicious and explicit clinical evidence, and 
applying it to an individual patient. 
Librarians have begun to promote teaching 
in ‘finding the evidence’ and are working to 
ensure that it is part of the university 
curriculum in a wide range of health science 
areas (Jacobs 327; McKibbon 25). To be able 
to find the best evidence, practitioners must 
be information literate within the medical 
context. Sackett promotes the role of 
librarians in assisting practitioners to find 
evidence‐based information (Sackett 210).  
 

The EBCP movement has led to a change in 
focus for medical librarians. Training has 
been developed to ensure that practitioners 
become information literate, rather than 
simply being orientated in their use of a 
particular library. Studies have been 
undertaken on the ability of continuing 
medical education to change the habits of 
health practitioners (Dornan 670; Fox and 
Bennett 466). However, it has been difficult 
for any studies to pinpoint the effect of 
information literacy programmes in 
changing the habits of clinicians. 
Information literacy is rarely taught in 
isolation and it is hard to separate the effects 
of training by librarians from that learnt by 
other means (e.g. consultation with 
colleagues).  
 
The trend towards EBCP in the clinical 
situation has been coupled with a change in 
the way that medical students learn at 
university. The shift from lecture‐based 
teaching to that of problem‐based learning 
(from teacher‐centred to student‐centred), 
has required students to be more 
sophisticated in the techniques they use to 
locate information. There has also been a 
change in the direction of education away 
from the principle that everything you need 
to know can be learned at university, 
towards an approach that regards university 
education as a way to learn the critical 
thinking and research skills required for a 
lifetime of learning.  
 
CAUL Information Skills Survey  
 
The lack of a suitable validated instrument 
to evaluate information literacy 
programmes has been recognized in the 
United States and Australia. The US 
Institute for Information Literacy prepared a 
project plan in January 2004 that has as one 
of its goals to“Develop criteria for assessing 
information literacy programs”(Institute 
Information Literacy 5). In Australia, 
concerns about how to measure the 



Evidence Based Library and Information Practice 2007, 2:3 
 

 7

information literacy skills of groups of 
students were identified by CAUL and 
addressed with the publication of the 
Information Skills Survey for Assessment of 
Information Literacy in Higher Education. The 
CAUL ISS was designed and developed by 
the CAUL Information Literacy Assessment 
Project Team. The CAUL ISS in its generic 
form consists of twenty questions in a self‐
assessed closed questionnaire, with students 
ranking their information skills on a scale of 
0 (never) to 3 (always). The use of self‐report 
as a valid means of gaining evidence from 
students has been supported by several 
writers (Lally and Myhill 27; Marsh 722) and 
is widely used in evaluating student 
experiences. For instance, in Australia the 
Course Experience Questionnaire (Wilson, 
et al 34) relies on self‐report.  
 
The CAUL ISS was designed using the 
Information Literacy Standards (CAUL ILS) 
which were revalidated for use with the 
second edition, published as the Australian 
and New Zealand Information Literacy 
Framework (ANZ ILF) (Bundy) (Appendix 
1). The generic form of the survey was 
benchmarked with students studying 
education. The reliability (the ability to 
reproduce the scores) has been 
demonstrated to meet the criteria for 
standardised test for the scale overall 
(R=0.87). Satisfactory levels of reliability 
(between 0.54 and 0.78) were reported for 
each of the sub‐scales that measured 
standards two to six as listed in the ANZ 
ILF. These results compare favourably with 
other standardised instruments used in 
educational research (see for instance, 
Marsh et al 717). The CAUL ISS Project 
Team noted that the survey developed with 
students in education was designed for use 
in a range of social science contexts. The 
Project Team recommended that the CAUL 
ISS should be tested with students in other 
disciplines, including science and 
engineering. This study investigated this 

issue in relation to the discipline of 
medicine.  
 
Validity  
 
Validity is fundamental to the utility of a  
measurement tool because it confirms that 
the instrument measures what it purports to 
measure, and must be examined in the 
context in which the survey is used. Four 
aspects of validity have been identified as 
necessary to establish the quality of a survey 
(Lally and Myhill 17). These forms of 
validity are termed content, construct, 
concurrent and predictive validity. For the 
CAUL ISS the content validity was 
demonstrated by expert judges matching 
survey questions with the relevant 
standards. Evidence of construct validity 
was demonstrated in the statistical analysis 
of the CAUL ISS, with details reported in the 
CAUL ISS Technical Manual. The concurrent 
validity of the CAUL ISS was established by 
comparing student self‐report on the survey 
with assessments by librarians of the 
individual’s information skills, using 
observation and interview. Evidence of 
predictive validity requires research in 
specific contexts to demonstrate whether the 
CAUL ISS predicts the information literacy 
performance of students. The generic form 
of the CAUL ISS has demonstrated content, 
construct and concurrent validity within the 
context in which the survey was developed, 
but Catts (“Administration Manual” 2) calls 
for consideration of validity in other higher 
education contexts including medicine 
which would avoid the costly task of 
creating a new form of the survey.  
The central research questions for this study 
were:  
 

• Is the CAUL ISS a reliable 
instrument for providing data on 
information literacy outcomes for 
groups of first year and advanced 
medical students?  



Evidence Based Library and Information Practice 2007, 2:3 
 

 8

• Is the CAUL ISS valid for 
identifying information literacy 
skills for the above cohorts of 
students?  

 
Methodology  
 
The University of Western Australia  
 
This study was conducted at The University 
of Western Australia (UWA). UWA has an 
enrolment of approximately 16,000 students 
in nine faculties. The Bachelor of Medicine 
and Bachelor of Surgery is a six‐year 
undergraduate and four‐year postgraduate 
programme offering integration of science 
and clinical teaching.  
 
The information literacy programme for 
medical students at UWA is based around 
the ʹspirallingʹ curriculum with incremental 
development and a revisiting of important 
concepts over six years. A curriculum‐
integrated approach has been taken with the 
development of information skills 
integrated into the teaching, learning and 
assessment of curriculum objectives and 
content. The information literacy 
programme is based around outcomes 
required of a medical graduate and uses the 
ANZ ILF (Bundy) and its associated 
learning outcomes. An extract from the 
UWA Information Literacy Framework for 
Medical Students (first and fourth‐year) is in 
Appendix 3. In 2006, Library staff conducted 
100 information literacy sessions for faculty 
and students.  
 
Study design  
 
The CAUL ISS was administered to first‐
year medical students in October 2004 and 
fourth‐year medical students in January 
2005 as described below.  
 
To confirm the content validity of the 
survey, at the time the CAUL ISS was 
administered, students were asked to 

answer two open‐ended questions on 
whether or not they thought the CAUL ISS 
covered all areas of information literacy that 
would be required by medical students in 
their academic year.  
 
Sampling and recruitment procedures  
Respondents  
 
First year students were assumed to have 
general information literacy knowledge 
similar to other groups of first year students 
with whom the instrument has been 
validated. It was therefore hypothesised that 
the generic version of the CAUL ISS would 
be content valid and reliable for this group. 
First‐year undergraduate medical students 
at UWA complete a general course of study 
and have not yet been exposed to 
information sources exclusive to medicine.  
 
Students in their fourth year have been 
exposed to a significant amount of discipline 
specific knowledge (see examples in 
Appendix 3). Ideally, the study would have 
followed up with the first‐year cohort some 
three years later, but immediate information 
was sought for the purpose of course 
review. Although this is a limitation of the 
study, the content validity and reliability of 
the CAUL ISS in different years of the course 
can still be determined by gathering data 
from two different cohorts.  
 
All first and fourth‐year students who were 
attending prescribed lectures, were 
informed of the purpose of the research, 
invited to complete the anonymous survey 
instrument and given the option to 
withdraw. All students in attendance at the 
lectures agreed to complete the survey. 
Eighty‐six first year students, representing 
46% of the cohort, and one‐hundred and 
twenty fourth‐year students, representing 
86% of the fourth year cohort provided data. 
Students under the age of 18 were not 
permitted to participate for ethical reasons 
(parental permission would have been 



Evidence Based Library and Information Practice 2007, 2:3 
 

 9

required). Students under the age of 18 
comprised approximately 10% of the first 
year student cohort at the time the survey 
was completed. However, there were no 
students under the age of 18 at the lectures 
where the CAUL ISS was completed.  
Students who were not at the prescribed 
lectures were not invited to complete the 
survey.  
 
Materials  
 
The contents of the Information Skills 
Survey are confidential to ensure that 
responses are not rehearsed or students 
encouraged to misrepresent their 
knowledge and practice. Such actions would 
harm the validity of the survey to the extent 
that students were prompted to modify 
their behaviours. However, recently CAUL 
agreed to the publication of the survey in 
academic journals, with the proviso that 
readers are asked to note that it is to be used 
in conjunction with the CAUL ISS 
Administration Manual which can be 
accessed from the CAUL web site 
(www.caul.edu.au). Consequently the 
survey is included as Appendix 2. 
 
To confirm the content validity of the CAUL 
ISS in the context of medicine, students 
were asked at the time of completing the 
survey to give a written response to two 
additional questions:  
 

Are there any skills related to 
research and information gathering 
for your first/fourth‐year medical 
studies that are not covered by the 
survey?  If so, what are they?  
Are there any questions in the 
survey that are not applicable to 
your first/fourth‐year medical 
studies?  Is so, what are they?  

 
Gathering student opinions complemented 
the expert judgements used in the survey 
design, and allowed a direct consideration 

of content validity in the situation where its 
use was to be trialled.  
 
Interview procedure  
 
Having noted that the fourth‐year students 
rated themselves significantly more severely 
than did first year students on some seven 
items, four students from this cohort were 
interviewed in a post‐hoc analysis to seek to 
identify the extent to which the CAUL ISS 
addressed the range of their techniques for 
information use. The selection of these four 
students was on the recommendation of 
academic staff from those students who 
were available. Two male and two female 
students were selected (the medical course 
at UWA comprises approximately 50 
percent male and 50 percent female 
students). Interviews were conducted in a 
semi‐structured way with the interviewer 
asking a series of questions and students 
responding to build an understanding 
through discussion as promoted by Holstein 
(56). An outline of the topics discussed in 
the interviews is included in Appendix 5.  
 
Reliability  
 
The reliability of a measurement instrument 
estimates how consistently each item 
measures the construct of interest, which in 
this case is information literacy. A perfectly 
reliable instrument in which the responses 
to all items by any participant are entirely 
consistent for that participant would 
produce a reliability of one across the group 
of participants. If each individual responded 
completely at random to each item in the 
survey the reliability for the group would be 
zero. Hence the higher the reliability that is 
reported, the better is the measurement 
instrument.  
 
The CAUL ISS was administered to the 
groups of students on only one occasion. 
Coefficient alpha (sometimes called 
Cronbach alpha) was calculated to 

http://www.caul.edu.au


Evidence Based Library and Information Practice 2007, 2:3 
 

 10

determine the reliability of the CAUL ISS. 
Coefficient alpha is recommended as the 
best estimate for cases where the survey is 
administered once and is the most common 
measure of the reliability of measurement 
instruments in social science (Bryman and 
Cramer 77). A high alpha value would 
demonstrate that the survey questions 
produce positively inter‐correlated 
responses that measure the same concept 
(Bryman and Cramer 77). For standardised 
tests it is recommended that alpha should be 
above 0.85 for decisions that affect 
individuals and above 0.65 for inferences 
about groups (Frisbie 29).  
 
Results 
 
Reliability  
 
Using Cronbach alpha, the reliability was 
calculated for first year students at 0.85 and 
0.84 for fourth‐year students demonstrating 
the consistency of the CAUL ISS for both 
years. These results confirm the reliability of 
the CAUL ISS because they are consistent 
with the reliability of 0.87 reported in the 
CAUL ISS Technical Manual .  
 
Performance on Survey  
 
The CAUL ISS item numbers and their 
alignment to the core standards from the 
Information Literacy Framework, together with 
a comparison of mean scores, and standard 
deviations and reliabilities are shown in 
Tables 1 and 2. The level of significance of 
differences is shown in Table 3. Items that 
are significant at the 5% level are in shaded 
bold italics. Note that there are no questions 
in the CAUL ISS relating to Standard 1 (the 
information literate person recognizes the 
need for information and determines the 
nature and extent of the information 
needed).  
 
The mean score for first‐year students on the 
20 item scale (possible range 0 to 60) was 

37.19 with a standard deviation of 8.14. The 
mean score for fourth‐year students on the 
20 item scale was 34.88 with a standard 
deviation of 7.72.  
 
The difference in favour of first‐year 
students is evident in all five subscales. The 
CAUL ISS questions grouped by ANZ ILF 
Core Standards mean scores for years 1 and 
4 are reported in Table 1. The mean score 
was lower for the fourth‐year students in 
each of the subscales. The significance of 
this result is discussed below. It is noted that 
the reliabilities for the sub‐scales were 
consistent with the results reported in the 
CAUL ISS Technical Manual (Catts, 2005).  
 
As the items in the CAUL ISS each provide 
data on an ordinal scale with a maximum 
range of four, the statistical significance of 
any difference in performance between first 
and fourth‐year students for each of the 
twenty items was determined using a non‐
parametric test (Mann‐Whitney). This is a 
conservative test that does not depend upon 
the assumption of a normal distribution. 
Seven of the twenty items were statistically 
significant at the 5% level. Table 3 shows the 
results of these calculations. There were 
seven items that were significantly different 
and these are shaded in the table. There is a 
significant difference in results for at least 
one item from each of the subscales. 
However, the results of the tests were in an 
unexpected direction as the first‐year 
students had higher ratings than the fourth‐
year students on the items that were 
significant. The specific items are listed in 
Appendix 4 and the reasons and 
implications for this finding are considered 
in the discussion that follows.  
 
Validity of CAUL ISS for Medical Students  
 
To investigate the validity of the CAUL ISS 
for medical undergraduates, students were 
asked to give written responses to two 
additional open‐ended questions. The  



Evidence Based Library and Information Practice 2007, 2:3 
 

 11

Australian and New Zealand Information Literacy Framework 
Core Standard Number and associated CAUL Information Skills 
Survey numbers 

Mean  
1st‐year  

Mean 
4th 
year  

ANZ ILF Standard 2 finds needed information effectively and 
efficiently  
(CAUL ISS numbers 3,12,16,19)  

8.00   7.52  

ANZ ILF Standard 3 critically evaluates information and the 
information seeking process  
(CAUL ISS numbers 5,8,11,14)  

6.84   6.12  

ANZ ILF Standard 4 manages information collected or generated  
(CAUL ISS numbers 1,2,6,9)  

5.52   5.12  

ANZ ILF Standard 5 applies prior and new information to 
construct new concepts or create new understandings  
(CAUL ISS numbers 4,15,17,18)  

7.60   7.20  

ANZ ILF Standard 6 uses information with understanding and 
acknowledges cultural, ethical, economic, legal, and social issues 
surrounding the use of information  
(CAUL ISS numbers 7,10,13,20)  

9.24   8.92  

 
Table 1. Comparison of Subscale means for first‐year and fourth‐year students 
 
responses of the first year students indicated 
that the CAUL ISS survey items represented 
a satisfactory sample of their information 
literacy strategies. The analysis of the first‐
year students who responded to the open‐
ended questions is reported below. Of the 
sixty respondents, 30/60 (50%) reported that 
they could not identify any skills related to 
research and information gathering for their 
medical studies that were not covered by the 
survey. A further 8/60 (13%) gave no 
response and 2/60 (3%) stated that they 
“don’t know”. The remaining 18/60 (30%) of 
first‐year students listed comments that 
relate to elements from the ANZ ILF 
Information Literacy Standards. These 
included finding information effectively and 
efficiently (Information Literacy Standard 2), 
evaluating information (Information 

Literacy Standard 3) and a comment relating 
to legal issues in using information 
(Information Literacy Standard 6). These 
responses suggest that the CAUL ISS survey 
items represented a satisfactory sample of 
their information seeking strategies. In  
answering the question as to whether there 
were any questions in the survey that were 
not related to their first year studies, 34/60 
(57%) students reported that they had no 
suggested changes, 10/60 (17%) gave no 
response and 3/60 (5%) stated that they 
“don’t know”. A further 7/60 (12%) students 
gave comments relating to applying new 
information to construct new concepts 
(Information Literacy Standard 5) and 13/60 
(22%) of students wrote comments relating 
to legal issues in using information 
(Information Literacy Standard 6). These  



Evidence Based Library and Information Practice 2007, 2:3 
 

 12

 

Australian and New Zealand Information Literacy Framework 
Core Standard Number and associated CAUL ISS numbers 

Mean   SD   Alpha  

ANZ ILF Standard 2 finds needed information effectively and 
efficiently  
(CAUL ISS numbers 3,12,16,19)  

7.71   1.86   0.50  

ANZ ILF Standard 3 critically evaluates information and the 
information seeking process  
(CAUL ISS numbers 5,8,11,14)  

6.43   2.32   0.73  

ANZ ILF Standard 4 manages information collected or generated  
(CAUL ISS numbers 1,2,6,9)  

5.30   2.16   0.55  

ANZ ILF Standard 5 applies prior and new information to construct 
new concepts or create new understandings  
(CAUL ISS numbers 4,15,17,18)  

7.36   2.17   0.65  

ANZ ILF Standard 6 uses information with understanding and 
acknowledges cultural, ethical, economic, legal, and social issues 
surrounding the use of information  
(CAUL ISS numbers 7,10,13,20)  

9.06   2.16   0.55  

 
Table 2. Estimates of Subscale means and SD for combined first‐year and fourth‐year responses 
(total of 196 responses)  
 
results suggest that the content of the CAUL 
ISS is valid for this group of 1st year 
students.  
 
A similar analysis was conducted of the 
responses to the written questions by the 
fourth‐year students. While the majority of 
responses related to elements of the ANZ 
ILF standards, a small number 
ofrespondents indicated that the situated 
nature of medical information literacy is an 
issue. Of the forty‐two fourth‐year students 
who responded to the open‐ended questions, 
25/42 (60%) of the fourth‐year students 
reported that they had no suggested 
additions to the survey in relation to the 
skills they needed to research and gather 
information for their fourth‐year medical 
studies. A further 7/42 (17%) recorded no 

response and one student (2%) responded 
with the comment “don’t know”. Unlike the 
first‐year students, the fourth‐year students 
did not report any additional comments 
related to standards 2 and 3 but one did 
make a comment relating to the legal use of 
information (Information Literacy Standard 
6). However, of particular note were a series 
of comments relating to the use of 
information in the clinical setting indicating 
that the situated nature of medical 
information literacy was an issue. For 
example, 3/42 (7%) of fourth‐year students 
commented that the survey did not cover 
the importance of comparing research to 
actual clinical experience with comments 
such as “talking to skilled clinicians”, 
“gathering information from human 
sources”. A further 4/42 (10%) of students 



Evidence Based Library and Information Practice 2007, 2:3 
 

 13

 

CAUL ISS 
item 
number  

ANZ ILF Core Standard 
Number  

Mean  
1st‐year  

Mean  
4th‐year  

Mann‐
Whitney U  

p values  

1   4   1.57   1.13   3708   <.001  

2   4   1.12   0.93   4448   .060  

3   2   2.03   .804   4874.5   .465  

4   5   1.68   1.34   3947.5   .004  

5   3   1.70   1.29   3703   <.001  

6   4   1.68   1.92   4355.5   .075  

7   6   2.51   2.48   4820   .357  

8   3   1.84   1.51   3949   .002  

9   4   1.14   1.13   5019   .723  

10   6   2.45   2.48   5151   .980  

11   3   1.85   1.78   4854   .434  

12   2   1.59   1.37   4303.5   .035  

13   6   2.03   2.00   4908   .673  

14   2   1.50   1.58   5021   .724  

15   5   1.84   1.87   5058   .873  

16   3   2.47   2.42   5014   .697  

17   5   1.92   1.95   5156   .992  

18   5   2.20   1.98   4320   .032  

19   2   1.88   1.76   4755   .289  

20   6   2.29   2.02   4342.5   .039  

 
Table 3. Level of significance of CAUL ISS questions as determined by non‐parametric tests 



Evidence Based Library and Information Practice 2007, 2:3 
 

 14

reported comments relating to the use of 
consolidated information sources such as 
Clinical Evidence and one student noted that 
the survey did not cover the need to be 
aware of library subscriptions to otherwise 
password protected sources.  
 
The analysis of the second follow‐up 
question for the fourth‐year students 
highlighted that the majority of the students 
(27/42, 64%) could not identify any items on 
the survey that were not applicable to their 
fourth‐year studies and a further 5/42 (12%) 
of students gave no response. However, 4/42 
(10%) of the students reported that the 
questions related to organising information 
(Information Literacy Standard 4) were not 
applicable to their fourth‐year studies. In 
addition 2/42 (5%) reported comments 
relating to applying new information to 
construct new concepts (Information 
Literacy Standard 5) and 7/42 (17%) of 
students wrote comments relating to legal 
issues in using information (Information 
Literacy Standard 6).  
 
Interview analysis  
 
The unpredicted differences between the 
first‐year and fourth‐year cohorts in the 
survey responses and the analysis of the 
follow up questions suggested that there 
were differences in the way the fourth‐year 
students used information that required 
further investigation. This was gathered in 
follow up interviews with four fourth‐year 
students (see Appendix 5).  
 
During the interviews, students described 
some of the medical resources they use 
regularly and how they can search these 
more effectively. The students discussed the 
process they use to find the answers to 
clinical questions that arise in the hospitals. 
One student commented “My first point of 
call normally is to go to the textbooks. First I 
tend to refresh the whole problem and the 
topic in my mind and, say pancreatitis, I 

might go and find out in a basic pathology 
book [from Years 1 and 2] and something a 
little bit more about the management of it 
and then for more specific questions I 
generally tend to start at Medline. The 
evidence‐based stuff [e.g. Clinical Evidence] 
since the lecture at the start of the year”.  
When asked about the differences that they 
perceived between finding information 
required for their studies in the pre‐clinical 
versus the clinical years, the fourth‐year 
students covered a number of areas. 
Selected quotations are: “Well, probably the 
first port of call would be to speak to the 
immediate senior. Just ask them for some 
resources that they might suggest”, “I was 
only really exposed to Clinical Evidence this 
year and some of the other databases”, “I 
think on the wards we refer to senior staff”, 
“You’ll get some senior staff who are very 
good at suggesting [sources of 
information].” This response illustrates the 
shift from a naïve learner dependent upon 
texts, manuals and other documents, toward 
a professional practitioner engaged in 
information exchange within the profession.  
 
Discussion  
 
The reliability of the generic form of the 
CAUL ISS for medical students is 
demonstrated through the high Cronbach 
alpha scores for both the first and fourth‐
year students. The high overall reliability is 
a necessary pre‐requisite for concurrent 
validity – if the survey was not reliable the 
scores could not be reproduced, and hence 
one would expect low correlations with 
other evidence of information literacy. 
However, the detailed analysis revealed that 
the responses from fourth‐year students to 
some of the items produced lower self 
ratings and this raised a question about the 
predictive validity of the generic CAUL ISS 
for comparing first and fourth‐year 
students.  
 
 



Evidence Based Library and Information Practice 2007, 2:3 
 

 15

Issues with Specific Items  
 
On each of the items, the first year students 
out performed the fourth‐year students. For 
those seven items where the difference is 
significant, possible explanations for the 
differences are described below.  
 
ANZ ILF Core Standard 2: Finds needed 
information effectively and efficiently (CAUL 
ISS Item 12: I have a system for searching for 
information on a subject).  
 
Item 12 relates to using a system for finding 
information. First‐year students may have 
rated themselves significantly higher here 
because they are using the same system for 
finding information that they have been 
using for a number of years. In their 
university studies, the first‐year students 
would have been researching a topic in 
much the same way they did at high school 
(approximately 85% of first year medical 
students at UWA are school leavers). 
Finding information for first year 
assignments revolves around using 
textbooks, pre‐determined journal articles 
and web sites. The system that has been 
used in, for example, high school would still 
be adequate for these first year students. 
They have yet to become aware of the wide 
gamut of formal and informal information 
resources that are required by medical 
practitioners.  
 
In contrast fourth‐year students have 
become aware of additional resources used 
in the clinical setting and for more thorough 
research, but their junior status may limit 
their access to professional networks. The 
fourth‐year students identified databases 
such as The Cochrane Library and Clinical 
Evidence as resources used in addition to 
Medline. Although fourth‐year students are 
aware of the range of material available to 
them, they may still be trying to develop a 
system in which they can identify the 

relevant resources for a variety of clinical 
and non‐clinical information needs. Fourth‐ 
year students may find it more difficult to 
develop a system as they have more parts to 
fit together.  
 
ANZ ILF Core Standard 3: Critically evaluates 
information and the information seeking process 
(CAUL ISS Item 5: I critically evaluate each 
information sources I use, and CAUL ISS Item 
8: I evaluate information I read for criteria 
including accuracy and relevance).  
 
Items 5 and 8 relate to evaluating 
information. Item 5 relates to evaluating all 
information sources that are used while item 
8 specifies evaluating for criteria such as 
accuracy and relevance. The first‐year 
medical curriculum has a strong emphasis 
on evaluating information. By fourth‐year, 
students should be obtaining information 
only from reputable sources such as 
refereed journals. Item 5 relates specifically 
to evaluating information sources. A 
possible explanation for this difference 
between the two groups is that the fourth‐
year students are evaluating their 
information sources at an early stage of their 
searching. That is, the evaluation is done at 
the stage of choosing the information 
resource itself rather than the specific 
information that is found within. Further 
investigation is needed to confirm whether 
the response by fourth‐year students can be 
explained by their confidence in the 
information resources they are using. If they 
believe these resources contain reliable 
information, this would explain why they 
do not consider it so important to evaluate 
each time they select from a specific 
information resource.  
 
ANZ ILF Core Standard 4: Manages 
information collected or generated (CAUL ISS 
Item 1: I have a system that helps me organise 
the information I need).  
 



Evidence Based Library and Information Practice 2007, 2:3 
 

 16

Item 1 relates to having a system to organise 
information. Clinical coursework in fourth‐
year requires organising different types of 
information to that used in the pre‐clinical 
years. Fourth‐year students are being 
exposed to patient information, and to 
hospital guidelines and procedures. Most of 
these would be new to the fourth‐year 
students and could explain why they do not 
rate themselves as highly as first‐year 
students. First year students are organising 
a limited amount of information from 
familiar resources (books, journals, web 
sites) whereas the fourth‐year students are 
organising those as well as the clinically 
specific information.  
 
ANZ ILF Core Standard 5: Applies prior and 
new information to construct new concepts or 
create new understandings (CAUL ISS Item 4: 
When I get a new idea, I work out how to explain 
it effectively, and CAUL ISS Item 18: I compare 
information as I’m reading with what I already 
know).  
 
Standard 5 relates to applying found 
information to construct new concepts. Item 
4 regards effectively explaining new ideas 
and item 18 relates to comparing found 
information with what the student already 
knows. It is unclear why the fourth‐year 
students would rate themselves lower on 
these items than the first year students. One 
possible explanation is that the fourth‐year 
students are no longer engaged in research 
essays that require them to look at 
information from a wide variety of books 
and journals and then summarize these and 
add their own ideas. Rather, in the clinical 
setting, the students are required to apply 
the best available evidence to the individual 
patient. Therefore their focus may be more 
on making the best judgement based on 
known protocols of practice rather than 
formulating new concepts. Resources used 
in the clinical setting (such as Clinical 
Evidence) are pre‐packaged sources of 
information and the students are not 

required to explain new ideas in the same 
way that they do in a standard 
undergraduate essay. Teaching and learning 
revolves around case studies and problem‐
based learning.  
 
ANZ ILF Core Standard 6: Uses information 
with understanding and acknowledges cultural, 
ethical, economic, legal, and social issues 
surrounding the use of information (CAUL ISS 
Item 20: I comply with stated restrictions on the 
use of intellectual property).  
 
Item 20 relates to intellectual property 
which is not a term that is often used in 
information literacy teaching and learning 
activities in the UWA medical course. First 
year students are possibly not as aware of 
the restrictions of intellectual property and 
so rated themselves more highly than the 
fourth‐year students who “know what they 
don’t know”.  
 
A short survey need not cover every aspect 
of information literacy in order to be a valid 
survey. It appears from the responses of first 
year students that this applies and the 
survey can be considered valid in their 
context. However, for fourth‐year students, 
it appears that regard to the information 
sources that best inform evidence based 
practice need to be considered.  
The significant difference between the two 
groups of students in seven of the survey 
items and the lower self‐rating of the fourth‐
year students may indicate that the content 
is not sufficiently broad to reflect the 
situated information literacy of the higher 
level medical students.  
 
This is confirmed by the responses to the 
additional questions and the interviews 
with the higher level students. The 
information skills that students need for the 
higher (clinical) years of the medical course 
are different to that for the lower (pre‐
clinical) years. Analysis of the areas of 
difference showed that the fourth‐year 



Evidence Based Library and Information Practice 2007, 2:3 
 

 17

students’ approach to finding, evaluating 
and using information has begun to change 
in line with their exposure to clinical 
practice. First year students focus their 
information skills around the use of 
textbooks, journal articles and web sites (in 
this way first year medical students are 
similar to the other first year cohorts for 
whom the CAUL ISS was designed).  
Fourth‐year medical students are becoming 
aware that there is a much broader range of 
information resources to draw from, 
including colleagues. Information resources 
for fourth‐year students must include those 
they develop as they are exposed to the 
clinical setting, and the consequential 
lowered self‐rating on the generic CAUL 
ISS, which illustrates their increasing 
awareness of the complexity of information 
retrieval. The information from the 
additional questions and interviews 
indicates that the CAUL ISS content is not 
valid for higher level medical students. This 
is in line with the concept of situated 
information skills anticipated by the 
developers of the CAUL ISS.  
 
In their responses to the questions posed at 
the conclusion of the administration of the 
CAUL ISS, 30% of the first year students 
identified information relating to Standard 2 
as not being included in the CAUL ISS. The 
four CAUL ISS items that relate to Standard 
2 are general items on searching for 
information (I use a combination of search 
tools including library catalogues and web 
search engines, I have a system for searching 
for information on a subject, if my searching 
returns too much irrelevant information, I 
change my keywords, I decide how best to 
find the information I require for a 
particular task) and do not specifically 
mention, for example, using databases to 
find journal articles. Database searching is a 
requirement for first year medical students. 
Their responses may indicate that either 
they do not associate the items with data 
base searching, or that as novice researchers 

they do not associate generic statements 
about search methods with the procedures 
they employ.  
 
Fourth‐year students identified two main 
areas of difference in the additional 
questions and in the interviews relating to 
the clinical setting. The first is the need to 
consult with colleagues and the second is 
the specific skills that are required to find 
information to answer clinical questions. 
These are areas that could be included in the 
development of a form of the CAUL ISS 
suitable for use with advanced medical 
students.  
 
Conclusion  
 
The generic CAUL ISS is reliable when used 
with both first and fourth‐year medical 
students. The validity of the generic CAUL 
ISS for first year medical students is 
consistent with the findings in the Technical 
Manual and it can be used for this group. 
For fourth‐year students validity has not 
been confirmed and further research in the 
area should focus on designing and 
validating a discipline specific version of the 
survey. This could include additional 
questions on recognizing the need for 
information, using colleagues as a source of 
information and the use of consolidated 
information resources integrated with 
relevant questions from the current version 
of the CAUL ISS. These findings are 
consistent with the situated nature of 
information literacy in higher education.  
 
 
Works Cited 
 
ALA. Final Report from the Presidential 

Committee on Information Literacy. 
Washington, DC, 1989.   

 
Bernath, V., and J. Jenkin. ʺEvaluation in 

Curriculum Development for 
Information Literacy: An Australian 



Evidence Based Library and Information Practice 2007, 2:3 
 

 18

Example Using a Canadian 
Questionnaire.ʺ 4th International 
Lifelong Learning Conference. 
Yeppoon, Queensland: Central 
Queensland University, 2006.   

 
Brettle, A. ʺInformation Skills Training: A 

Systematic Review of the Literature.ʺ 
Health Information & Libraries Journal 
20 Suppl. 1 (2003): 3‐9.  

 
Bruce, C. ʺInformation Literacy as a Catalyst 

for Educational Change: A Background 
Paper.ʺ White paper prepared for 
UNESCO, the US national Commission 
on Libraries and Information Science, 
and the National Forum on 
Information Literacy for use at the 
Information Literacy Meeting of 
Experts. Prague, The Czech Republic, 
2002.  

 
Bryman, A. and Cramer, D. Quantitative 

Data Analysis with SPSS 12 and 13. 
East Sussex: Routledge, 2005. 

 
Bundy, A. Australian and New Zealand 

Information Literacy Framework: 
Principles, Standards and Practice. 2nd 
ed. Adelaide: ANZIIL, 2004.  

 
Candy, P. Lifelong Learning and 

Information Literacy (White Paper). 
Prague, The Czech Republic: UNESCO, 
2002.  

 
Candy, P. ʺMining in Cyberia.ʺ  Information 

Literacy around the World: Advances 
in Programs and Research. Eds. C. 
Bruce and P. Candy. Wagga Wagga: 
Centre for Information Studies, Charles 
Sturt University, 2000.   

 
Catts, R. Information Skills Survey: 

Technical Manual. Canberra: Council 
of Australian University Librarians, 
2005.   

 

Catts, R. Information Skills Survey for 
Assessment of Information Literacy in 
Higher Education: Administration 
Manual. Canberra: CAUL, 2003.  

 
Catts, R. ʺLifelong Learning and Higher 

Education: Reflections and Prospects.ʺ 
3rd International Lifelong Learning 
Conference. Yeppoon, Queensland, 
2004.   

 
CAUL. Information Literacy Standards. 

Canberra: CAUL, 2001.  
 
Dornan, T., et al. ʺEvaluation of Self‐

Directed Clinical Education: Validation 
of an Instrument.ʺ Medical Education 
38.6 (2004): 670‐8.  

 
Fox, R. D, and N. L. Bennett. ʺContinuing 

Medical Education: Learning and 
Change: Implications for Continuing 
Medical Education ʺ BMJ 316 (1998): 
466‐68. 

 
Frisbie, D. ʺReliability of Scores from 

Teacher‐Made Tests.ʺ Educational 
Measurement: Issues and Practice 7.1 
(1984): 25‐35. 

 
Gedeon, J., C. Radcliff, and L. OʹConnor. 

ʺProject Sails: Facing the Challenges on 
Information Literacy Assessment.ʺ 
AAHE Assessment Conference. 
Denver, Colorado, 2004.  

 
George, R., et al. ʺInformation Literacy ‐ an 

Institution‐Wide Strategy.ʺ AARL 32.4 
(2001): 278‐93.  

Holstein, J. The Active Interview. Thousand 
Oaks: Sage Publications, 1995.  

 
Iannuzzi, P. ʺWe Are Teaching But Are They 

Learning: Accountability, Productivity 
and Assessment.ʺ Journal of Academic 
Librarianship 25.4 (1999): 304‐05.  

 



Evidence Based Library and Information Practice 2007, 2:3 
 

 19

Institute for Information Literacy. Best 
Practices and Assessment of 
Information Literacy Programs: A 
Project Plan Prepared for The 
association of College and Research 
Libraries a Division of the American 
Library Association. Chicago, IL: 
Institute for Information Literacy, 2004.  

 
Jacobs, S. K., P. Rosenfeld, and J. Haber. 

ʺInformation Literacy as the 
Foundation for Evidence‐Based 
Practice in Graduate Nursing 
Education: A Curriculum‐Integrated 
Approach.ʺ Journal of Professional 
Nursing 19.5 (2003): 320‐8.  

 
Koufogiannakis, D., and N. Wiebe. 

ʺEffective Methods for Teaching 
Information Literacy Skills to 
Undergraduate Students: A Systematic 
Review and Meta‐Analysis.ʺ Evidence 
Based Library and Information 
Practice, 2006. Vol. 1.   

 
Lally, M, and M Myhill. Teaching Quality: 

The Development of Valid Instruments 
of Assessment. Canberra: Australian 
Government Publishing Service, 1994.  

 
Lupton, M. ʺCurriculum Alignment and 

Assessment of Information Literacy 
Learning.ʺ  Australian and New 
Zealand Information Literacy 
Framework: Principles, Standards and 
Practice. Ed. A Bundy. 2nd ed. 
Adelaide: Australian and New Zealand 
Institute for Information Literacy, 2004.  

Marcum, James W. ʺRethinking Information 
Literacy.ʺ Library Quarterly 72.1 
(2002): 1‐26.  

 
Marsh, H. ʺStudentsʹ Evaluations of 

University Teaching: Dimensionality, 
Reliability, Validity, Potentials Biases, 
and Utility.ʺ Journal of Educational 
Psychology 76 (1984): 707‐727. 

 

McKibbon, A. PDQ: Evidence Based 
Principles and Practice. Hamilton, 
Ontario: BC Decker Inc, 1999. 

 
Orr, D., and J. Cribb. ʺInformation Literacy‐‐

Is It Worth the Investment?ʺ Australian 
Academic & Research Libraries 34.1 
(2003): 42‐51.  

 
Palmer, S., and B. Tucker. ʺPlanning, 

Delivery and Evaluation of 
Information Literacy Training for 
Engineering and Technology 
Students.ʺ AARL March (2004): 16‐34.   

 
Sackett, D. Evidence‐Based Medicine: How 

to Practice and Teach EBM. 2nd 
edition. Edinburgh: Churchill 
Livingstone, 2000.  

 
SCONUL. Learning Outcomes and 

Information Literacy. Newport, Wales: 
Society of College, National and 
University Libraries, 2004.  

 
Siegel, S., and J. Castellan. Nonparametric 

Statistics for the Behavioral Sciences. 
2nd ed. New York: McGraw‐Hill, 1988.  

 
Snavely, L., and N. Cooper. ʺThe 

Information Literacy Debate.ʺ Journal 
of Academic Librarianship 
1997.January (1997): 9‐14.  

 
University of Auckland, Library. 

ʺInformation Skills: The Research 
Process ‐ 5 Steps to Success 
ʺ.  Auckland, 2005.  University of 
Auckland. 15 April 2007. 
<http://www.library.auckland.ac.nz/ins
truct/research.htm>  

 
WILL. An Action Agenda for Lifelong 

Learning for the 21st Century. Brussels: 
World Initiative for Lifelong Learning, 
1994.  

 

http://www.library.auckland.ac.nz/instruct/research.htm
http://www.library.auckland.ac.nz/instruct/research.htm


Evidence Based Library and Information Practice 2007, 2:3 
 

 20

Wilson, K.L., A. Lizzio, and P. Ramsden. 
ʺThe Development, Validation and 
Application of the Course Experience 
Questionnaire.ʺ Studies in Higher 
Education 22.1 (1997): 33‐53.  

 

 
 
 
 
 



Evidence Based Library and Information Practice 2007, 2:3 
 

 21

APPENDIX 1  
 
Information Literacy Standards (CAUL, 2001)  
 
1. The information literate person recognizes the need for information and determines the 

nature and extent of the information needed  
2. The information literate person accesses needed information effectively and efficiently  
3. The information literate person evaluates information and its sources critically and 

incorporates selected information into their knowledge base and value system  
4. The information literate person classifies, stores, manipulates and redrafts information 

collected or generated  
5. The information literate person expands, reframes or creates new knowledge by integrating 

prior knowledge and new understandings individually or as a member of a group  
6. The information literate person understands cultural, economic, legal, and social issues 

surrounding the use of information and accesses and uses information ethically, legally and 
respectfully  

7. The information literate person recognizes that lifelong learning and participative citizenship 
requires information literacy  
 
 

Australian and New Zealand Information Literacy Framework (Bundy 2004 p.11)  
Core Standards  
 
These standards identify that the information literate person:  
 
1. Recognizes the need for information and determines the nature and extent of the information 

needed  
2. Finds needed information effectively and efficiently  
3. Critically evaluates information and the information seeking process  
4. Manages information collected or generated  
5. Applies prior and new information to construct new concepts or create new understandings  
6. Uses information with understanding and acknowledges cultural, ethical, economic, legal, 

and social issues surrounding the use of information  



Evidence Based Library and Information Practice 2007, 2:3 
 

 22

 
APPENDIX 2  
CAUL Information Skills Survey Questions  
 

1   I have a system that helps me organise the information I need.  

2   I keep accurate details of everything I read.  

3   I use a combination of search tools including library catalogues and web search engines.  

4   When I get a new idea, I work out how to explain it effectively.  

5   I critically evaluate each information source I use.  

6   When I make notes about the information I am reading, I include the author and title.  

7   I reference websites that I have used in my assignment.  

8   I evaluate information I read for criteria including accuracy and relevance.  

9   I develop a system to keep track of the information I find and its sources.  

10   I apply my institution’s policies regarding plagiarism.  

11   In selecting information, I evaluate the quality of the information.  

12   I have a system for searching for information on a subject.  

13   I need to keep relearning because life is constantly changing.  

14   I revise my research plan and strategy if I need to gather more information or data.  

15   I present the information in a medium that suits the audience.  

16   If my searching returns too much irrelevant information, I change my keywords.  

17   When I consider information I have found, I state the key ideas in my own words.  

18   I compare information as I’m reading with what I already know.  

19   I decide how best to find the information I require for a particular task.  

20   I comply with stated restrictions on the use of intellectual property.  

 



Evidence Based Library and Information Practice 2007, 2:3 
 

 23

APPENDIX 3  
University of Western Australia  

 
Medicine Information Literacy 2007  

 

  IL Outcomes based on CAUL IL framework   Learning Reinforcement   Faculty Learning 
Outcomes by year  

Graduate 
Outcomes  

1st‐year  
Session 1  
Lab  
FAHB  

The student is able to :  
 
• recognise the need to seek librarian help in the 

information seeking process  
• distinguish between the various types of material on 

reading lists. (eg. books, journals, chapter in a book, 
internet resource)  

• find and access items on reading lists  
 

lecturers encourage use of library 
resources for assignments  
 
PBL resources list includes a range of 
resources  

Yr 1  
Demonstrate 
ability to access a 
range of 
information 
resources  

Use effective 
communication 
skills & styles  
 

Apply the 
principles of 
lifelong learning 
continuing 
education  

 
Session 2  
WebCT  
FCP  
 
 

The student is able to :  
 

• clarify the meaning of an [assignment] topic using 
reference sources  

• list the keywords in an [assignment] topic  
• identify types of resources (e.g. books, journal 

articles) likely to be useful  
• construct an appropriate search strategy for 

specified resources  
• determine the reliability [trustworthiness] of 

resources (eg. web sites, journal articles)  
• demonstrate an understanding of the purpose and 

search strategy included in FAHB 
assignment. Strategy is evaluated 
and lecture given to students by 
Librarian on performance of group 
as a whole as part of assignment 
feedback  
 
Vancouver style required for all 
submitted material (PBL, 
assignments etc)  
 
lecturers encourage range of 

   



Evidence Based Library and Information Practice 2007, 2:3 
 

 24

coverage of different information access tools  
• begin to recognise the need to locate a variety of 

resources, representing a range of viewpoints  
• cite sources and quotes accurately (avoid 

plagiarism)  
• use Vancouver correctly to cite sources  

 
 

resources in assignments and rural 
week report  
 
PBL have shorter reference lists and 
students are encouraged to add more 

1st‐year   IL Outcomes   Learning Reinforcement  
 

Faculty Learning 
Outcomes by year  

Graduate 
Outcomes  

Session 3  
Lab  
FCP  

The student is able to :  
 
• plan an appropriate search strategy  
• evaluate results and revise search strategy 

accordingly  
• identify sources of health information including 

population data, major health issues in rural areas, 
health services and facilities in rural areas  

• discuss the authority of information found  
• cite resources correctly using Vancouver  

 

community health information 
required for rural report  

Yr 1  
Demonstrate 
ability to access a 
range of 
information 
resources  

Use effective 
communication 
skills & styles  
 

Apply the 
principles of 
lifelong learning 
continuing 
education  

Session 4  
Lab  
FCP  

The student is able to :  
 
• identify the special characteristics of medical 

literature (structured thesaurus, health statistics)  
• identifies when different resources are appropriate 

(journals, books, databases, web sites)  

students email articles from session 
to themselves to show/discuss in 
next tutorial  

   



Evidence Based Library and Information Practice 2007, 2:3 
 

 25

• recognises that the search strategy has to be 
designed for the particular resource (database, web)  

• gain an overview of a topic using review articles  

 

  IL Outcomes  
 

Learning Reinforcement   Faculty Learning Outcomes by year  

4th‐year  
Session1  
1‐on‐1 
reference 
interview  
EBM  

The student is able to :  
 

• find papers to answer their individual question in 
the following tutorial session  

individual reference interviews 
inform discussion in following 
tutorial  

Yr 4  
Use appropriate information 
management methods  

Session 2  
WebCT  
 

The student is able to:  
• construct a well built clinical question  
• understand the parts of a clinical question  
• apply the clinical model to a patient  
• identify and search the sources of synthesized 

evidence‐based information;  
• access evidence‐based resources to inform 

decisions  
• comment on the reliability and authority of 

information found  
• base a clinical decision on the evaluated 

information found  

WebCT backed up with a teaching 
slide series that they go through 
either before the question, or at 
different points along the way.  
 
question may be assessed and 
compulsory  

 



Evidence Based Library and Information Practice 2007, 2:3 
 

 26

APPENDIX 4  
 
The seven items on which fourth‐year students rated themselves more severely than did first 
year students are as follows:  
 

1. I have a system that helps me organise the information I need.  
2. When I get a new idea, I work out how to explain it effectively.  
3. I critically evaluate each information source I use.  
4. I evaluate information I read for criteria including accuracy and relevance.  
5. I have a system for searching for information on a subject.  
6. I compare information as I’m reading with what I already know.  
7. I comply with stated restrictions on the use of intellectual property.  
 

APPENDIX 5  
Topics discussed in the interviews  
 

1. Formal and informal sources that are resources for finding information while working in 
the hospitals as opposed to those used in the pre‐clinical years.  

2. Specific types of information sources e.g. textbooks, evidence‐based summaries.  
3. Importance of timeliness in information retrieval in the clinical setting.  
4. Limiting searching to particular study types e.g. randomised controlled trials.  
5. Critically evaluating sources of information.  
6. Clinicians involvement in directing students to information.  

 
 
All the quantitative analysis reported was undertaken using SPSS version 12.  
There were 84 first year students and 112 fourth‐year students.  
CAUL Australian and New Zealand Information Literacy Framework