Evidence Based Library and Information Practice Evidence Based Library and Information Practice 2010, 5.1  Evidence Based Library and Information Practice       Article    Course‐Integrated Learning Outcomes for Library Database Searching: Three Assessment  Points on the Path of Evidence    Dianne Cmor  Head, Information Services  Hong Kong Baptist University Library  Kowloong Tong, Kowloon  Email: dcmor@hkbu.edu.hk    Alison Chan  Information Services  Hong Kong Baptist University Library  Kowloong Tong, Kowloon  Email: hychan@hkbu.edu.hk    Teresa Kong  Shek Mun Campus Library  Hong Kong Baptist University Library  Kowloong Tong, Kowloon  Email: teresak@hkbu.edu.hk     Received: 5 Aug. 2009          Accepted: 22 Jan. 2010       2010 Cmor, Chan, and Kong. This is an Open Access article distributed under the terms of the Creative  Commons‐Attribution‐Noncommercial‐Share Alike License 2.5 Canada (http://creativecommons.org/licenses/by‐ nc‐sa/2.5/ca/), which permits unrestricted use, distribution, and reproduction in any medium, provided the  original work is properly attributed, not used for commercial purposes, and, if transformed, the resulting work is  redistributed under the same or similar license to this one.    Abstract    Objective ‐ This study aims to assess student learning with respect to basic database  searching at three different points within a required first year course.     Methods ‐ Three methods were employed at three different points to identify  evidence of successful learning:    1. Analysis of in‐class exercises from the initial library workshop, e.g. how many  students showed evidence of satisfactorily achieving the stated learning  outcomes.  64 mailto:dcmor@hkbu.edu.hk mailto:hychan@hkbu.edu.hk mailto:teresak@hkbu.edu.hk Evidence Based Library and Information Practice 2010, 5.1  65 2. Participant observation of student presentations, noting themes, strengths and  weaknesses of student research strategy; written observation reports from  librarians were coded and quantified to identify major themes.    3. Interviews with course instructors responsible for grading the final submitted  projects, focusing on both student achievement and instructor perceptions of  the impact of library involvement.    Results ‐ Though performance on in‐class exercises showed evidence of successful  learning in over 70% of students, observational data indicated that very few students  showed evidence of applying new knowledge and new search skills to their own  topics two weeks later. Instructor interviews revealed a perception of similar  difficulties in final project submissions, and instructors suggested that students did  not appreciate the need for library resources.     Conclusion ‐ In this study, students showed evidence of learning in a simulated  environment, but were unable or unwilling to demonstrate this learning in authentic  situations. Multiple assessment methods reveal a lack of student ability to apply  search skills.    Introduction    This study aims to assess student learning  with respect to basic database searching at  three different points within a required first  year Information, Communication and  Technology (ICT) course. For the purpose of  this study, basic database searching is defined  as accessing two recommended databases,  constructing an effective search statement, and  accessing the full text of relevant articles.  Student exercises, oral presentations and final  projects were examined to determine whether  or not students were able to effectively find  newspaper, magazine and journal articles to  support a project designed to introduce  students to the information management  cycle.     The authors also self‐assessed the study  against an evidence based practice framework,  with the aim of improving research  performance at the Hong Kong Baptist  University Library. For many practitioners, the  idea of research or evaluation often comes as  an afterthought to the daily work that needs to  be done – work that often arises quickly with  little time for thorough planning. Still, the  methods, data, and results of this are often  both rich and plentiful. If used and improved  upon, both in terms of programme  development and assessment methodology,  practicing librarians can take further steps  towards using and further developing the  evidence‐base of our profession.    While looking for opportunities to comment  on and improve upon the methodologies  employed in this study (which will be  discussed separately in the Discussion section  of this paper), the main focus remains on the  data that was collected in the hopes of  improving student learning in future  implementations. Specific questions for this  study are:       1. Were students able to successfully  complete assigned exercises submitted  at the end of a library resources  problem‐solving session?    2. Two weeks later, during their  presentations on data collection, did  students demonstrate that they could  successfully apply what they had  learned about database searching to  their own project topics?      3. Did final project submissions show  evidence of student ability to  Evidence Based Library and Information Practice 2010, 5.1  effectively utilize library databases in  their information management cycle  projects as perceived by course  instructors?    Context    Hong Kong Baptist University (HKBU) is a  mid‐sized government‐funded university  offering a wide range of undergraduate and  postgraduate programs. In the spring of 2008,  the Library identified a first year, required  course in information technology as a course  that might benefit from an information literacy  component, and approached the Computer  Science Department who had been running  the course for several years. The course was  being redesigned and renamed “Information  Management Technology”, and would include  lectures, labs and tutorials. Tutorials were  named “problem‐solving sessions” (PSS), and  would focus on the “information management  cycle”. It was decided that the Library would  facilitate a PSS session on using library  resources for the data collection stage of the  overall cycle.         The Library had recently adopted a clear  outcomes‐based template for designing and  delivering library instruction – one that  identifies outcomes, assessment methods,  curriculum and pedagogy. The learning  outcomes for the Library PSS were that  students would be able to:    1. Access two recommended library  databases (Academic Search Premier  and WiseNews)  2. Construct effective search strategies for  use in these databases  3. Access the fulltext of articles where  available, using our link resolver, when  necessary.    As 50 sections of the course had to be taught in  one week (approximately 20 students per  section), nine librarians were involved in the  teaching. Session content included what a  database is and how to access them, how to  construct a simple search statement, and how  to access full text.  Pedagogies employed were  large‐group discussion, mini‐lectures and  hands‐on exercises. Two weeks after the  library PSS, a Phase One submission was  required of students focusing on needs  identification and data collection activities for  their independent projects. Though all  students had to submit a PowerPoint  presentation at this point in the semester  outlining their work thus far, one third of  students were also required to orally present  their work. Librarians were invited to attend  these 50 presentation classes, and, in  collaboration with the course instructors, to  provide on the spot feedback to students.     Literature Review    The literature on assessment of library  instruction is voluminous, and has grown  considerably in recent years. Rader (2002)  noted in her thirty‐year review of information  literacy literature, that assessment of learning  outcomes had been minimal but had begun to  increase (p. 244). In his review of the literature  on information literacy assessment, Matthews  (2007) revealed that studies reported  contradictory results as to whether or not  library instruction improves student  performance (p. 72). Koufogiannakis and  Wiebe (2006) systematically reviewed the  literature on effective teaching methods for  information literacy skills instruction to  undergraduate students focusing on the state  of the research base and comparative teaching  methods (p. 3‐43). For the purpose of this  study, a focus on current methods used in  assessing learning outcomes will be  emphasized over comparative assessments of  instructional methods.     Lorenzen (1999) articulated a clear connection  between outcomes‐based learning and library  instruction. After defining outcome‐based  education (OBE) as “A method of teaching  that focuses on what students can actually do  after they are taught” (p. 142), he posited that  library instruction has always had an  outcomes‐based perspective due to the goal of  having students be able to do something  following instruction, such as use a catalog or  find an article. Brettle (2007) reviewed  66 Evidence Based Library and Information Practice 2010, 5.1  assessment methods in health libraries noting  that most study designs were quantitative in  nature (p. 22). Beyond health libraries,  quantitative designs are an increasingly  prevalent assessment approach in many  academic libraries as adopted in studies  conducted by Burkhardt (2007, p. 32), Emmett  and Emde (2007, p. 216), Byerly, Downey, and  Ramin (2006, p. 592), and Portmann and  Roush (2004, p. 462). Multiple‐choice  questionnaires, surveys and student  perception instruments are also frequently  used, for example, in Furno and Flanagan  (2008, p. 265), Houlson (2007, p. 101), and  Wong, Chan and Chu (2006, p. 386). Walsh  (2009, p. 21) reviewed the common types of  information literacy assessments categorizing  them under the headings of questionnaires,  tests, self‐assessments, analysis of  bibliographies or essays, portfolios,  observations of search behaviors, and  simulations. Most assessment studies focus on  the cognitive and affective domains ‐ on what  students know at a given time, and their  perceptions of what and how well they had  learned from library instruction interactions.  The challenge of assessing concrete ability to  demonstrate and apply information literacy  skills in authentic situations remains.     Fewer articles discussed using formative  assessment such as Classroom Assessment  Techniques (CATs), and authentic assessment  such as performance assessment methods, to  measure student learning outcomes following  instruction. Choinski and Emanuel (2006) used  the one‐minute paper together with an  assessment rubric to assess student learning in  one‐hour library sessions (p. 150). Knight  (2006) assessed bibliographies compiled by  undergraduate students in their first‐year  research and writing course according to a  scoring rubric based on course learning  objectives (p. 46). Diller and Phelps (2008)  discussed learning outcomes and authentic  assessment through the use of electronic  portfolios (p. 79). The portfolios contained self‐ selected samples of student work and self‐ reflections on perceived learning in relation to  the learning outcomes. Judd et al. (2004) used  a worksheet to assess students’ ability to  search the catalogue/database in a business  course library session, and then further  determined how well students understood the  resources taught by observing students work  in out‐of‐class group assignments that  followed the library instruction (p. 276).  Emmett and Emde (2007) adopted a pre‐ and  post‐test model with the assessment questions  developed as “information‐needed scenarios”  with multiple‐choice and short‐answer tests  (p. 216). Warner (2003) used multiple methods  including student journals, librarian  reflections, observation of student speeches,  and a survey tool that asked students about  resource use (p. 171). Overall, a general trend  in these studies can be observed wherein  students tend to perform lower in  demonstrating or applying higher order skills  in formative and authentic assessment  situations.    Though our study did not set out to measure  student attitude about information sources or  searching, it became an increasingly important  theme, and as such a brief review of recent  literature provides some necessary context.  Several studies (CIBER, 2008, p. 31; D’Esposito  & Gardner, 1999, p. 458; Griffiths & Brophy,  2005, p. 545; Head & Eisenberg, 2009, p. 11;  Kim & Sin, 2007, p. 658; OCLC, 2005, p. 1‐26;)  reported on students’ preference and use of  internet search engines for assignments,  especially as their first source. These studies  noted student satisfaction with their search  results and the information found, or student  frustration with the difficulties involved in  using library resources.  Zoellner, Samson and  Hines (2008) investigated the importance that  students ascribed to different information  resources, and found that library resources  increased in importance following instruction  (p. 378). Ursin, Lindsay and Johnson (2004)  reported that despite anecdotal evidence  supporting student appreciation and learning,  students did not actually use the resources  recommended by librarians (p. 291). Kim and  Sin (2007) studied perception and selection of  sources, and suggested that accessibility and  ease of use (real or perceived) played a crucial  role in source selection (p. 663).    67 Evidence Based Library and Information Practice 2010, 5.1  Interestingly, the literature on assessment of  information literacy instruction suggests what  it embodies – that is, many authors suggest  that multiple assessment methods are  necessary in any study in order to assess the  richness of student learning, and, in parallel, a  wide‐range of assessment approaches and  methods exist in the literature itself. This  study begins from the perspective of using  multiple assessment methods to assess very  specific learning outcomes, but will eventually  lead to an even broader view of the many  variables that affect deep learning and  authentic assessment.      Methods    A multiple assessment approach was  undertaken which assessed student learning  through submitted database‐searching  exercises, librarian observation of student  presentations two weeks later, and  perceptions of IMT instructors on student  performance in their final project submissions.  With over 1000 students enrolled in the  course, 966 students submitted the three in‐ class exercises, and approximately one third of  students made oral presentations.    Method for Assessment of In‐class Exercises    As the course was constantly evolving, even  during the semester, it was only at the last  minute that the Computer Science instructors  requested that librarians collect student  worksheets in the Library PSS, and provide  feedback on them before the next PSS the  following week. All librarians were asked to  review the submitted exercises from their  sections (see Appendix) and provide general  comments on the strengths, weaknesses, and  patterns to the coordinating librarian. The  coordinating librarian, taking all comments  into account, wrote a general summary of  student work, along with providing  suggestions for improvement. This feedback  was posted on the course website so that all  students could access it. Students did not  receive individual feedback on their submitted  work.    Further, given that the exercises would be  submitted to and reviewed by librarians, a  new opportunity was seized upon – to very  quickly ascertain the number of students who  were successfully achieving the learning  outcomes that had been set. Two librarians,  who had been involved in the library’s  outcomes assessment exercises for other  courses, assessed each of the student  worksheets to determine whether the learning  outcomes were being achieved to a  satisfactory degree. Due to time constraints, a  very simple “yes” or “no” scheme was used  for each student worksheet. The database  access outcome was considered achieved if at  least one of the two exercises requiring  database use (one exercise for WiseNews, and  one exercise for Academic Search Premier)  was completed without major errors. The  search strategy outcome was considered  achieved if the strategy was free of major  errors that would make the strategy  untenable, e.g. wrong Boolean operator, and  included at least two of the following  components correctly: synonyms, the Boolean  AND, the Boolean OR, truncation, and  parentheses as needed.    Method for Assessment of Presentations    Two weeks following the Library PSS, selected  students, who were randomly selected by the  course instructors, orally presented their  Phase One submissions of their final projects.  There were 50 PSS sections in which students  presented their chosen topics, focus areas,  needs identification, and the resources they  used or planned to use for data collection.     For each section, the assigned instructor and  librarian provided on the spot feedback to  students – sometimes after each presentation,  but usually as a summary at the end of the  class period. After the first two sections, the  coordinating librarian decided to seize on  another assessment opportunity and asked all  participating librarians to take brief notes and  write a short one or two paragraph summary  of their observations of each class, i.e., each set  of presentations, with each set consisting of 8‐ 10 presentations. As six sections did not  68 Evidence Based Library and Information Practice 2010, 5.1  69 require student presentations, and two  librarians combined two sections in one  report, 40 observational reports of 350‐400  student presentations were available for  analysis.  The observational reports were compiled into  one document, and a simple content analysis  was undertaken to determine major themes,  issues, strengths and weaknesses. A first  reading of the reports was undertaken by the  project team of three librarians to get a general  “feel” for the nature of the data. A second  reading was undertaken by two of the  librarians (Librarian A & B) in order to  identify themes that were embedded in the  textual content. The themes that naturally  came from the observational data were then  mapped to and categorized under the three  learning outcomes, in order to focus our  analysis, i.e. access databases to find articles,  construct an effective search strategy, and  access full text. The themes were further  subdivided in order to tally whether the  observational data reported evidence of  successful learning, evidence of unsuccessful  learning, or no evidence as shown in Table 1.   The third reading of the reports was  undertaken separately by two of the librarians  (Librarian A & C) and resulted in the analysis  of each report against the categorized themes  and the evidence of learning provided.  Statements not related to the learning  outcomes were classified into separate clusters  by themes, and tallied to simply indicate  whether or not a report mentioned this theme.  The third librarian (Librarian B) then reviewed  the two files, identified discrepancies, made  the final judgments, and prepared the final  version. This process resulted in the  identification of the most common threads  observed by librarians, and noted, where  applicable, evidence of successful or  unsuccessful learning.    Method for Instructor Perceptions/Assessment of  Learning    Interviews with the IMT instructors were  conducted four weeks after the student  presentations and by the time of the interview,  the instructors had received final project  submissions from students. Six out of a total of  nine instructors accepted our interview  invitation with a participation rate of 66.7%.  The interviews were conducted by two  members of the project team, with an attempt  to match interviewers and instructors who had  not worked together during the course. This  was the case in five of the six interviews. Open‐ended questions were used to allow  interviewees to express thoughts and opinions  freely without being influenced by pre‐defined  answers suggested by the interviewer.  Five  questions were formulated for the interviews.  Three questions focused on the general  perception and evidence of student learning  based on instructors’ observations throughout  the course and on the final project  submissions. Two further questions focused  on instructor perceptions of library  involvement and impact, and on soliciting  suggestions for improvement in the future.     Interview content was transcribed by the two  interviewers (Librarian A and B). Content was  then analyzed and coded under categories in  relation to the interview questions by one  librarian (Librarian A). These categories were  derived from the interview content, and  further signified as being either positive or  negative in nature. The interview content and  coding were then second read and reviewed  by the other two librarians (Librarian B and  C). Positive comments would speak to areas of  successful student learning or benefit from  library involvement in the course, and  negative comments would speak to areas of  weak student learning or lack of benefit from  library involvement.      Results    A total of 966 students attended the Library  PSS and submitted the three required  exercises.  A total of 954 students attended the  Phase One presentation sessions, with  approximately one third of those students   Evidence Based Library and Information Practice 2010, 5.1          Table 1   Content Analysis Worksheet in an Excel Format  Learning  Outcomes  Access an appropriate database to  find news/journal articles  Construct an effective search strategy  Access FT  using    Web  Bridge  Themes  derived  from data  G oo gl e/   W ik i/  W eb   L ib  D B s  L ib   ca ta lo gu e  T hi nk   ar ou nd /  d if fe re nt   an gl es   Fo cu s  th e  to pi c  Id en ti fy   m ai n  co nc ep ts /  K W s  Id en ti fy   sy no ny m s/   R T   A vo id  s of t  w or d s  T ru nc at io n  B oo le an   op er at or s  A N D / O R   Se ar ch   lim it s  pr ov id ed   by  D b  A cc es s  FT   Evidence  suggests  achieve‐ ment  Y  N  N  M  Y  N  N  M  Y  N  N  M  Y  N  N  M  Y  N  N  M  Y  N  N  M  Y  N  N  M  Y  N  N  M  Y  N  N  M  Y  N  N  M  Y  N  N  M  Y  N  N  M  Session 1                                                                          Session 2                                                                          …                                                                          Total                                                                          KEY:  Y=yes   N=no   NM=not mentioned 70 Evidence Based Library and Information Practice 2010, 5.1  giving a five minute oral presentation of their  project work to date. As feedback on  presentations was provided from librarians  and instructors, it was hoped that such  feedback could reinforce learning for all 954  students in attendance.    In‐Class Exercise Results    Written comments provided by all librarians  following each of the Library PSS sessions  showed similar threads. Most students were  able to access databases from the library  homepage, apply limits provided by databases  platforms such as date and publication type,  and determine if full text was available for a  given article. Students struggled with working  through the steps of building a search  strategy, and needed quite a lot of feedback  and support. This was viewed positively as  the “problem‐solving” approach gave  students the opportunity to work through  their difficulties and get feedback from the  librarian and the course instructor who were  moving around the room, helping students  work through their exercises. Librarians noted  that more time would have been useful, so  they could attend to all students or provide  more examples.         In assessing the student worksheets, using a  simple pass or fail methodology (wherein a  pass meant that the two learning outcomes  that were feasible to assess were demonstrated  to an acceptable level on the submitted  exercises), 71% of students achieved the  learning outcomes, that is, they were able to  access the recommended databases and  construct an effective search strategy.     Presentation Observation Results    The following observations were most  commonly made in the reports prepared by  the attending librarians relating to the learning  outcome which addressed the ability to access  appropriate databases to find articles. Use of  library databases was mentioned in 39 of the  40 reports, with 29 reporting that evidence  suggested achievement of the learning  outcome, and 10 reporting that the outcome  was not achieved. Use of internet search  engines was noted in 30 of the 40 reports, with  all mentioned indicating evidence that  students could successfully use a search  engine to find information for their projects.    It was regularly commented upon that the  presentations seemed to indicate that internet  searching had actually been undertaken by  students, while library searching, when  mentioned, was often as part of a future plan.  It seemed that many students had not yet  searched for articles on their topics in library  databases ‐ of the 39 reports commenting on  use of library databases, only 9 provided  evidence of actual use (by stating what they  had found or what limits they had used).    Constructing an effective search strategy was  the second learning outcome. Unfortunately,  as a group, students were unable to  demonstrate their knowledge or skills to a  great extent. There were some indications of  learning ‐ 24 reports mentioned identifying  main keywords with 22 indicating success,  and 2 indicating problems. 25 reports  mentioned student ability to identify  appropriate synonyms/related terms, with 20  indicating success and 5 indicating lack of  success. However, use of inappropriate terms  in searches, such as “in” “of” and “effect”  were noted in 11 reports. Use of Boolean  operators was noted in 28 reports, with 14  suggesting that generally students successfully  used these operators, and the other 14  suggesting that students demonstrated  considerable difficulty.  Truncation was  mentioned in 23 reports, with only 10  suggesting appropriate use and 13 reporting  problems. Several reports noted that students  were using Google‐type search operators such  as “+” in databases that would not support  such operators. The fact that 30‐40% of reports  did not mention Boolean or truncation  suggested that students were not sharing their  search strategies in their presentations at all,  indicating a lack of evidence of learning.    Overall, the student achievement as  demonstrated in their presentations was far  less than satisfactory. It was clear that students  71 Evidence Based Library and Information Practice 2010, 5.1  had spent most of their information‐searching  energy using internet search tools such as  Google and Yahoo. Many presentations only  included “plans” to use library databases.  Even for those students who had used library  databases, their ability to construct effective  searches was quite weak overall. Most  students could not put together all the pieces  they had learned two weeks earlier and apply  what they had learned to a new topic. Finally,  many students simply did not demonstrate  what they had tried so it was difficult to assess  their progress thus far.      Interview Results    Instructors were asked how well students  performed in demonstrating achievement of  course learning outcomes in their final project  submissions. Responses on 9 out of 17  statements (53%) focused on students’  weaknesses in the areas of creative thinking,   formulating search strategies, and awareness  of the importance of using academic resources                                                         in their research. Responses that spoke to  students’ strengths (47%) highlighted strong  software application skills, and the ability to  identify synonyms and related terms for  searching purposes.     When specifically asked whether students  demonstrated concrete evidence of learning to  effectively access or search the library  databases, responses from the instructors  varied. Half of the responses were positive,  especially in identifying keywords, coming up  with synonyms and related terms, and listing  at least one database taught in the IMT classes.  The other half of the responses were negative,  with comments on an inability to focus and  narrow a topic or search, and the lack of  justification for the search tools selected.  Another common problem identified was  confusion in using appropriate search  operators in Google and library databases (See  Figure 1).                                                      ─ A (4) ─ B (4) ─ C (0) ─ D (3) ─ E (0) ─ F (5) ─ G (1) ─ H (0) ─ A (2) ─ B (2) ─ C (1) ─ D (4) ─ E (1) ─ F (5) ─ G (1) ─ H (1) 0 5 10 15 20 Number of Positive statements Number of Negative statements [A] Identify KWs [E] Write down search strategy for LIB [B] Come up with synonyms/ RT [F] List LIB Dbs used [C] Avoid soft words/ unnecessary words [G] Focus/ narrow down the search [D] Use proper search operators for the tools, e.g. AND/OR/* for LIB Dbs while using +/-/"…" for Google? [H] Justify the search tools they selected to use     Fig. 1. Themes found in comments on whether students demonstrated concrete  evidence of learning to effectively access/search library databases.  72 Evidence Based Library and Information Practice 2010, 5.1  The majority of instructor statements (13 out  of 16, 81%) indicated that there was  insufficient change in student information  searching abilities resulting from librarian  involvement in the course. Students’  perception on the need for scholarly journal  articles, along with the difficulty of searching  library databases were mentioned as  hindering any changes in students’ abilities.    Despite the lack of results in student learning,  instructors’ overall impression of librarians   participating in the IMT classes was positive  (15 out of 20 statements, or 75%). Comments  about the positive contribution of the library  involvement included: librarians gave  enthusiastic motivation for students to go  further in their research, constructive  comments were given to students, the  databases introduced were very appropriate to  Year‐1 level study, and a general  understanding of the differences between  magazines and journals was beginning to take  shape. The negative or unsuccessful aspects of  library involvement included: student anxiety  over the presence of a librarian in the  classroom, insufficient time spent on database  searching, and, as some of the project topics  were very general, scholarly articles were not  necessary.  Suggestions for future improvement are  divided into two categories: those addressed  to the library (10 out of 24 statements, or 42%)  and to the IMT course designers (14 out of 24  statements, or 58%). Many suggestions were  made in relation to time allocated, content  covered, project topics, and instructions and  guiding questions in the project handbook.  Suggestions addressed specifically to the  library included providing more specific  comments to individual presentations (not  only general comments to all which was often  the case due to time constraints), spending  more time on search strategies and less time  on navigating the library’s database pages,  and comparing how search results would  differ between the internet and library  databases. Suggestions addressed to the  course designers included clarifying the  questions (expectations) and terminology used  in the project handbook, announcing the  possible project topics earlier to students,  connecting the library session worksheet  directly with the students’ project topics, and   increasing the time allocated for the library  session. z   Discussion    Discussion of Results    Learning is about the interplay of knowledge,  skills and attitudes, and perhaps more  importantly, it is about learning to apply new  knowledge, skills and attitudes. The three  questions posed by this study were aimed at  determining whether 1) students were able to  successfully complete in‐class exercises, 2)  students were able to apply skills to their own  topics as demonstrated in presentations, and  3) students showed evidence of an ability to  effectively utilize library databases in their  information management cycle projects as  perceived by course instructors. Though 71%  of students successfully completed the  exercises, very few demonstrated that they  could utilize new tools and apply new search  skills to a new topic, or that they could   incorporate new knowledge of resources and  searching techniques into their final projects.  Given that the “Information Management  Cycle” conceptual approach and the “Problem  Solving Session” pedagogical approach was  being used for the first time, it was not  surprising that outcomes would only partially  be met. Previous experience with the  assessment‐improvement cycle in our classes  suggests that in the next incarnation of the  library session, with modifications to content  focus and wording of exercises, it is likely that  approximately 80% of students will be able to  demonstrate successful learning via the  exercises. However, the low success rate in  students being able to later apply this learning  to their own information needs is problematic  indeed. Even if a 100% success rate with  immediate, in‐class exercises was achieved,  how useful is such success if only a small  percentage of students can transfer and apply  their learning to their own projects?     73 Evidence Based Library and Information Practice 2010, 5.1  In‐class exercises showed a basic level of  comprehension, but a deeper level of affective  and cognitive understanding appeared to be  lacking. Most students were unable to  demonstrate in their presentations that they  could apply searching skills to new situations,  and they showed little evidence of believing  that this was worrisome. Performance‐based  exercises at the end of a library session,  though perhaps more useful than self‐ assessment or multiple‐choice tests, is clearly  not enough to gauge true, internalized  learning.     Interview data revealed that instructors of the  IMT course believed that one of the reasons  students did not use library resources to a  satisfactory extent was that they did not  understand or appreciate the need for  including professional or academic sources in  their projects. Were students unable or simply  unwilling to find resources from library  databases? As the 50 minute library PSS  session focused on how to search and access  articles, where in the course was the question  of why one would search and access articles  covered?      The results of this study suggest that authentic  application and attitude should be closely  examined in relation to student learning. Less  time might be spent on skill development and  more time on attitudinal perspectives about  the use of library/scholarly resources. What  use is it for students to learn to access  appropriate databases and construct an  effective search strategy, if they are not  inclined to use a database in their information  gathering? If more attention is paid to student  knowledge and attitudes about scholarly  resources, then motivation might make up for  lack of skill. Even if their database searching  skills are somewhat basic, they might apply  these skills more readily in authentic  information‐seeking situations, and they  might seek assistance and respond to feedback  if they believe that library resources are  important to the quality of their work. In this  way, their skills can be improved upon over  time, and actually put to use.    Discussion of Methodology    The newness of the course meant that course  delivery was constantly in flux, leaving  librarians to quickly respond to requests, and  in some instances identifying assessment  opportunities only after the fact. Still, certain  comments can be made about the methods  employed to assess student learning, and how  they might be improved upon in the future.    As it was not known that there would be the  opportunity to assess in‐class exercises ahead  of time, the method used was not as rigorous  as it could have been. With no time for  creating assessment rubrics and only one week  to return close to 1,000 worksheets, the “quick  and dirty” assessment was considered the best  that could be done at the time. Experience  with assessing similar types of worksheets for  other courses provided an acceptable degree  of confidence in the findings.    Observation “data” from the presentations  was not initially identified as such. Curiosity  of the library course coordinator prompted the  request for librarians to send emails  summarizing their observations of the  presentations. The realization that these emails  held an immense amount of insightful  qualitative data only came after the fact. As  such, observation data was difficult to  normalize and analyze, but the major themes  and threads were apparent. The data indicated  that student application of the knowledge and  skills they had learned two weeks earlier was  weak.    Interviewing IMT instructors was better  planned and more standardized than the other  two methodologies employed in this study.  However, our interest in library‐related  learning outcomes did not necessarily match  with how instructors were assessing the final  projects.  Instructors were certainly able to  give their general perceptions of student  ability and attitude, which was certainly a  useful indicator of student learning, but it was  not possible to determine how many students  showed evidence of achieving the library‐ related outcomes in their final projects.     74 Evidence Based Library and Information Practice 2010, 5.1  Conclusion     This study attempted to assess student  learning of database searching skills, both  within a library session and as applied over an  entire course. Three different assessment  methods were used at three different points in  the course, which shed light both on student  learning, behaviors and attitudes. Though  students showed evidence of learning in a  simulated environment, that is, successfully  completing exercises as part of classroom  learning, they were unable or unwilling to  demonstrate this learning in authentic  situations as reflected in their presentations  and from instructor interviews. When working  on their own projects, students generally did  not use library databases, or if they did, they  did not apply the searching skills that they  had previously demonstrated.     Simply put, the information seeking behaviour  of students did not change as a result of  librarian involvement in this course. Course  instructors suggested that students did not  appear to value the use of library resources  over internet resources, and did not  understand that university level projects  would require the use of professional and/or  scholarly resources. Though students can learn  the skills related to library information seeking  (as shown in other studies as well), this study  suggests that much more attention needs to be  given to the attitudes that drive student  information seeking behaviour. Given that  Google is so much easier than our  comparatively complicated databases,  students need to learn why it is important to  search library databases, not just how to do so.  Without the former, the latter is without  meaning or use.    Recommendations    Recommendations for the course      Discussions with course instructors have  already identified some changes, which will be  implemented into the course. Students will be  required to submit the results of preliminary  searching before the library session, in the  hope that this will better introduce the library  session as a way to expand upon  “background” internet searching, and move  into a more academic or professional arena. It  was agreed that an attitudinal focus on why  and in what circumstances one might go  beyond Google was badly needed.    Assessment of student learning can be  improved in a number of ways, and thus  continue to inform a practice of continuous  assessment and improvement. Assessment of  in‐class exercises should be done using a  standardized assessment rubric allowing for  consistency and the identification of varying  degrees of success. Gathering qualitative data  from observing student presentations would  also benefit from a more structured approach,  possibly using observational checklists or from  following a stronger methodological  framework for content analysis of  observations. Further, inter‐rater reliability  methods should be adopted for example,  Oakleaf (2009) investigated a rigorous rubric  approach to information literacy assessment  by analyzing the inter‐rater reliability of rubric  scores (p. 970).     Finally, library‐related learning outcomes   should be adopted by IMT instructors so that   they can clearly ascertain whether or not  students are achieving these outcomes as  evidenced in their final projects. Such  outcomes, with an assessment rubric, might be  developed by librarians, accepted by  instructors, and shared with students  (alongside other project learning outcomes) in  order to clearly guide students in their  learning and their ability to demonstrate that  learning.    Recommendations for Practice    This study confirms what most practitioners  already know from anecdotal experience ‐  that assessing skills is not enough when it  comes to assessing authentic student learning  in the realm of information literacy.  Librarians cannot limit assessment efforts to  determining whether or not students know  how to search (skills), but must also pay  75 Evidence Based Library and Information Practice 2010, 5.1  attention to whether or not students know  why to search certain resources for certain  types of information needs (knowledge &  attitude).    Undergraduate students need to learn how to  think about research, not just how to carry out  certain skill‐based steps. If librarians are to  move beyond skills, and become more deeply  involved in the richness of authentic student  learning, close collaboration and teamwork  with faculty is crucial. Wider exploration and  discussion of the processes involved when  undertaking research should be included in  instruction, and reflective research exercises  should be built into instruction sessions and  into course research assignments.    Results of the systematic review by  Koufogiannakis and Wiebe (2006) indicated  that inadequate research has been conducted  to assess higher level learning outcomes (p.  12). As large‐scale information literacy  assessment tools are becoming more widely  adopted at the institutional level, it is  important that librarians rigorously assess  these tools in themselves to ensure that the  affective and cognitive realms are adequately  addressed. If such tools only tell us that  students are aware of a variety of resources  and that they possess the requisite search  skills to use them, they do little in telling us  whether students have truly learned about the  importance of information in all of its many  forms, for all of its many purposes, and can  put that learning into appropriate action.      Recommendations for Further Study    As a result of this study, several areas for  further study have also presented themselves,  leading us further down the path of  integrating research into practice. Possible  studies may include pre‐ and post‐testing with  a focus on cognitive awareness and attitudinal  change, investigating whether a short,  additional online exercise immediately  following the in‐class exercises will result in  improved retention and application of skills,  investigating whether library‐constructed  rubrics for course learning outcomes have an  effect on student learning, and comparing  various ways in which such rubrics might be  used. Studying permutations of course  delivery comparing librarians and instructors  delivering different parts of the content, or  comparing face‐to‐face and online instruction  are also potential studies. Two systematic  reviews highlighted that the majority of  studies reviewed were in the U.S. context  (Brettle, 2007, p. 21; Koufogiannakis & Wiebe,  2006, p. 20). Further studies that can add to an  international evidence base are certainly  needed, as students in Hong Kong, Brazil,  Nigeria or Europe might learn quite  differently than the average American student.    Research should inform the decisions and  activities of practitioners, and the activities of  practitioners should form part of the research  base. “Evidence‐based library and information  practice (EBLIP) seeks to formalize the links  between research and professional activities  …” (Given, 2007, p. 16). Eldredge (2000)  proposed a conceptual framework for EBL  that recognizes and allows for pragmatism,  diversity, continuous improvement in research  rigor, and the application of best‐available  evidence (p. 291). This study begins from a  place of relative immaturity, where  environmental constraints, the speed at which  a new course changes, and the culture of  librarian practice did not encourage the use of  research in daily practice. In light of pragmatic  considerations and best‐available evidence  within a local setting, first attempts at  undertaking research will need to be assessed  and improved upon in later incarnations.  Librarians are very familiar with the  continuous‐improvement cycle used in library  instruction and other areas of service  performance assessment. It would be of great  enefit to apply such a cycle to our research  ractices, as well.  b p     References     Brettle, A. (2007). Evaluating information skills  training in health libraries: A systematic  review. Health Information & Libraries  Journal, 24(Suppl. 1), 18‐37.   76 Evidence Based Library and Information Practice 2010, 5.1  Burkhardt, J. M. (2007). Assessing library   skills: A first step to information literacy.  Portal: Libraries & the Academy, 7(1), 25‐49.    Byerly, G., Downey, A., & Ramin, L. (2006).  Footholds and foundations: Setting  freshmen on the path to lifelong learning.  Reference Services Review, 34(4), 589‐598.     Centre for Information Behaviour and the  Evaluation of Research. (2008).  Information behaviour of the researcher of the  future ‐ A British Library/ JISC study.  London: University College London.  Retrieved from  http://www.ucl.ac.uk/infostudies/researc h/ciber/downloads/     Choinski, E., & Emanuel, M. (2006). The one‐ minute paper and the one‐hour class.  Reference Services Review, 34(1), 148‐155.     DʹEsposito, J. E., & Gardner, R. M. (1999).  University studentʹs perception of the  internet: An exploratory study. Journal of  Academic Librarianship, 25(6), 456‐461.     Diller, K. R., & Phelps, S. F. (2008). Learning  outcomes, portfolios, and rubrics, oh my!  authentic assessment of an information  literacy program. Portal: Libraries & the  Academy, 8(1), 75‐89.     Eldredge, J. D. (2000). Evidence‐based  librarianship: An overview. Bulletin of the  Medical Library Association, 88(4), 289‐302.     Emmett, A., & Emde, J. (2007). Assessing  information literacy skills using the  ACRL standards as a guide. Reference  Services Review, 35(2), 210‐229.     Furno, C., & Flanagan, D. (2008). Information  literacy: Getting the most from your 60  minutes. Reference Services Review, 36(3),  264‐271.     Given, L. M. (2007). Evidence‐based practice  and qualitative research: A primer for  library and information professionals.  Evidence Based Library and Information  Practice, 2(1), 15‐22. Retrieved from  http://ejournals.library.ualberta.ca/index. php/EBLIP/article/view/155/237     Griffiths, J. R., & Brophy, P. (2005). Student  searching behavior and the web: Use of  academic resources and Google. Library  Trends, 53(4), 539‐554.     Head, A. J., & Eisenberg, M. B. (2009). Finding  context: What todayʹs college students say  about conducting research in the digital age  (Project Information Literacy Progress  Report). University of Washingtonʹs  Information School. Retrieved from  http://www.projectinfolit.org/pdfs/PIL_Pr ogressReport_2_2009.pdf     Houlson, V. (2007). Getting results from one‐ shot instruction: A workshop for first‐ year students. College & Undergraduate  Libraries, 14(1), 89‐108.     Judd, V., Tims, B., Farrow, L., & Periatt, J.  (2004). Evaluation and assessment of a  library instruction component of an  introduction to business course: A  continuous process. Reference Services  Review, 32(3), 274‐283.     Kim, K., & Sin, S. J. (2007). Perception and  selection of information sources by  undergraduate students: Effects of  avoidant style, confidence, and personal  control in problem‐solving. Journal of  Academic Librarianship, 33(6), 655‐665.     Knight, L. A. (2006). Using rubrics to assess  information literacy. Reference Services  Review, 34(1), 43‐55.     Koufogiannakis, D., & Wiebe, N. (2006).  Effective methods for teaching  information literacy skills to  undergraduate students: A systematic  review and meta‐analysis. Evidence Based  Library and Information Practice, 1(3), 3‐43.  Retrieved from  http://ejournals.library.ualberta.ca/index. php/EBLIP/article/view/76/153     77 http://www.ucl.ac.uk/infostudies/research/ciber/downloads/ http://www.ucl.ac.uk/infostudies/research/ciber/downloads/ http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/155/237 http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/155/237 http://www.projectinfolit.org/pdfs/PIL_ProgressReport_2_2009.pdf http://www.projectinfolit.org/pdfs/PIL_ProgressReport_2_2009.pdf http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/76/153 http://ejournals.library.ualberta.ca/index.php/EBLIP/article/view/76/153 Evidence Based Library and Information Practice 2010, 5.1  78 Lorenzen, M. (1999). Using outcome‐based  education in the planning and teaching of  new information technologies. Journal of  Library Administration, 26(3), 141‐152.     Matthews, J. R. (2007). Library assessment in  higher education. Westport, Conn.:  Libraries Unlimited.     Oakleaf, M. (2009). Using rubrics to assess  information literacy: An examination of  methodology and interrater reliability.  Journal of the American Society for  Information Science and Technology, 60(5),  969‐983.     Online Computer Library Center. (2005).  Perceptions of libraries and information  resources. Dublin, Ohio: OCLC Online  Computer Library Center. Retrieved from  http://www.oclc.org/reports/2005percepti ons.htm     Portmann, C. A., & Roush, A. J. (2004).  Assessing the effects of library  instruction. Journal of Academic  Librarianship, 30(6), 461‐465.           Rader, H. B. (2002). Information literacy 1973‐  2002: A selected literature review. Library  Trends, 51(2), 242‐259.      Ursin, L., Lindsay, E. B., & Johnson, C. M.   (2004). Assessing library instruction in the  freshman seminar: A citation analysis  study. Reference Services Review, 32(3),  284‐292.     Walsh, A. (2009). Information literacy  assessment: Where do we start? Journal of  Librarianship & Information Science, 41(1),  19‐28.     Warner, D. A. (2003). Programmatic  assessment: Turning process into practice  by teaching for learning. Journal of  Academic Librarianship, 29(3), 169‐176.     Wong, G., Chan, D., & Chu, S. (2006).  Assessing the enduring impact of library  instruction programs. Journal of Academic  Librarianship, 32(4), 384‐395.     Zoellner, K., Samson, S., & Hines, S. (2008).     Continuing assessment of library  instruction to undergraduates: A general  education course survey research project.  College & Research Libraries, 69(4), 370‐383.    http://www.oclc.org/reports/2005perceptions.htm http://www.oclc.org/reports/2005perceptions.htm Evidence Based Library and Information Practice 2010, 5.1  Appendix 1: Database Exercise Example Part II: Search Strategies for Library Databases What is the most important part of searching a database? Taking a minute to THINK about: • the most important aspects of your topic • what keywords could be used • how to connect your terms and use * to form the best search 1. Step One: Define your question/information need. Do children in Hong Kong eat a healthy diet? 2. Step Two: Identify the MOST IMPORTANT ideas (Tip: Ignore ‘soft’ words) 3. Step Three: Brainstorm for synonyms or related terms 79 Evidence Based Library and Information Practice 2010, 5.1  80 4. Step Four: Decide which terms to try first, and combine terms to build your search. Common Connectors Search Example Search Result “ ” “health care” Exact phrase search AND influenza and children Articles containing both/all terms OR influenza or flu Articles containing either term * child* All words starting with child e.g. child, children, childhood ( ) child* and (influenza or flu) Orders search properly so results are relevant Write out TWO possible searches for our topic: Now, using your search strategies above, try searching Academic Search Premier (from EBSCOHost) for a good article on our topic. Article Title: ________________________________________________ Journal Title: ________________________________________________ Volume/Issue: _____________ Year: _________ Pg: ___________ Is it available in Fulltext? Yes___ No ___ Evidence Based Library and Information Practice 2010, 5.1  Appendix 2. Textual Analysis of the Observations in the Problem‐Solving Sessions  Learning outcomes Access an appropriate database to find news/journal articles Construct an effective search strategy Themes derived from data Google / Wiki / Web sites (to find basic info) Lib DBs, (or print / e-journals) Lib catalogue (to find books) Think around / different angles (creative thinking) Focus the topic Identify main concepts/ KWs Identify synonyms / RT Avoid soft words / unnecessary words Truncation Boolean operators AND / OR Search limits provided by database e.g. date, headline, academic Evidence suggests achievement Y N NM Y N NM Y N NM Y N NM Y N NM Y N N M Y N N M Y N N M Y N NM Y N NM Y N NM Total 30 0 10 29 10 1 8 2 30 2 0 38 6 5 29 22 2 16 20 5 15 6 11 23 10 13 17 14 14 12 4 0 36 Learning outcomes Access FT using WebBridge Other observations not related to learning outcomes Themes derived from data Access FT on the nature of the topic on the nature of the info. sources and evaluation criteria on the experience of using Internet search on the experience of using lib. resources on confusion relating to use of lib DB page or homepage on confusion relating to the assignment e.g. what to write for "search strategy" Evidence suggests achievement Y M NM M NM M NM M NM M NM N NM M NM Total 0 4 36 2 38 10 30 9 31 12 28 3 37 5 35 Y= Yes N= No NM= Not mentioned or evidence not provided M= mentioned 81