Microsoft Word - ART_Oakleaf.doc Evidence Based Library and Information Practice 2007, 2:3  27 Evidence Based Library and Information Practice     Article    Using Rubrics to Collect Evidence for Decision‐Making: What do Librarians Need to  Learn?      Megan Oakleaf  Assistant Professor  School of Information Studies  Syracuse University  Syracuse, New York  USA  E‐mail: moakleaf@syr.edu        Received: 25 April 2007     Accepted: 6 August 2007    © 2007 Oakleaf. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.    Abstract    Objective ‐ Every day librarians make decisions that impact on the provision of library  products and services.  To formulate good decisions librarians must be equipped with  reliable and valid data.  Unfortunately, many library processes generate vast quantities of  unwieldy information that is ill suited for the evidence based decision‐making (EBDM)  practices librarians strive to employ.  Librarians require tools to facilitate the translation of  unmanageable facts and figures into data that can be used to support decision‐making.  One  such tool is a rubric.  Rubrics provide benefits to librarians seeking to use EBDM strategies.   This study examined librarians’ abilities to use rubrics as a decision facilitation tool,  explored barriers that might prevent effective rubric usage, and suggested training topics  that address potential barriers.    Methods ‐ The data for the study came from student responses to open‐ended questions  embedded in an online information literacy tutorial, LOBO, used by first‐year students in  English 101 at North Carolina State University (NCSU).  Fifteen academic librarians, five  instructors, and five students applied rubrics to transform students’ textual responses into  quantitative data; this data was statistically analyzed for reliability and validity using  Cohen’s Kappa.  Participant comment sheets were also examined to reveal potential hurdles  to effective rubric use.    mailto:moakleaf@syr.edu http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:3  28 Results ‐ Statistical analysis revealed that a subset of participants included in this study  were able to use a rubric to achieve substantially valid results.  On the other hand, some  participants were unable to achieve an expert level of validity and alluded to roadblocks  that interfered with their ability to provide quality data using rubrics.      Conclusion ‐ Participant feedback can be categorized into six barriers that may explain why  some participants could not attain expert status: 1) difficulty understanding an outcomes‐ based approach, 2) tension between analytic and holistic rubric structures, 3) failure to  comprehend rubric terms, 4) disagreement with rubric assumptions, 5) difficulties with data  artifacts, and 6) difficulties understanding local library context and culture.  Fortunately,  each of these barriers can be addressed through training topics that maximize the usefulness  of a rubric approach to EBDM.     Introduction    Every day librarians make decisions that  impact on the provision of library products  and services.  To formulate good decisions  librarians must be equipped with reliable  and valid data.  Unfortunately, many library  processes generate vast quantities of  unwieldy information that is ill‐suited for  the evidence based decision‐making (EBDM)  practices librarians strive to employ.   Librarians require tools that facilitate the  translation of unmanageable facts and  figures into data that can be used to support  decision‐making.  One such tool is a rubric.      Rubrics are “descriptive scoring schemes”  used to analyze (Moskal) and judge the  quality of services, products, or  performances (Popham 95).   In libraries,  rubrics can be employed to examine and  evaluate a multitude of library products and  services.  For example, rubrics can capture  useable data about information‐seeking  behavior, customer service skills, marketing  and outreach efforts, collection strengths,  and information commons effectiveness.   This article briefly reviews the benefits of  using rubrics to facilitate EBDM and  outlines a study in which librarians applied  a rubric to capture and understand evidence  of student information literacy skills— evidence that led to the improvement of a  library instruction tutorial.  Primarily, this  article focuses on identifying difficulties  librarians may encounter when using  rubrics, and it recommends training topics  to maximize the usefulness of a rubric  approach to EBDM.  Additional elements of  the study, including methodology, are  described in other documents and  presentations (Oakleaf, “Assessing  Information Literacy”; Oakleaf “Assessment  of Student”).      Rubrics Defined   Rubrics are tools that describe the parts and  levels of performance of a particular task,  product, or service (Hafner 1509).  Rubrics  are often employed to judge quality  (Popham 95), and they can be used across a  broad range of subjects (Moskal).  “Full  model rubrics” are the most descriptive type  of rubric.  Formatted in a chart or table, full  model rubrics include target indicators or  “criteria” in the left column and levels of  performance across the top (Callison 34).   The first of two components that comprise a  full model rubric is criteria.  Criteria are the  essential tasks or hallmarks that indicate a  successful performance (Wiggins V‐6:2).   Performance descriptors are the second  component of rubrics.  Performance  descriptors “spell out what is needed, with  respect to each evaluative criterion . . . [for]  a high rating versus a low rating” (Popham  96).      Evidence Based Library and Information Practice 2007, 2:3  29 Rubrics can be described as holistic or  analytic.  A holistic rubric “score[s] the  overall process or product as a whole,  without judging the component parts  separately” (Nitko 226).  Holistic rubrics  provide one score for a whole product or  performance based on an overall impression.   Analytic rubrics “divide . . . a product or  performance into essential traits or  dimensions so that they can be judged  separately—one analyzes a product or  performance for essential traits.  A separate  score is provided for each trait” (Arter and  McTighe 18).  Individual scores can be  summed to form a total score from an  analytic rubric (Nitko 226).      A number of information literacy rubrics  exist in the library and information science  literature.  The following authors report the  use of rubrics to assess information literacy  in higher education: D’Angelo, Merz and  Mark, Rockman, Emmons and Martin,  Buchanan, Franks, Gauss and Kinkema,  Hutchins, Kivel, Kobritz, Warmkessel,  Smalley, Knight, and Choinsky, Mark, and  Murphey.  While authors used rubrics to  evaluate artifacts of student learning in  library instruction, additional research is  merited.   This study sought to examine the  statistical reliability and validity of rubrics  used by multiple raters and to investigate  barriers that might limit the effective use of  rubrics in library decision‐making.      Benefits of Rubrics  As a tool for EBDM, rubrics offer a number  of benefits.  First, rubrics provide librarians  the opportunity to discuss, determine, and  communicate agreed upon values (Callison  36).  Librarians who create rubrics must  agree upon the criteria by which a library  product or service will be analyzed and  evaluated.  They must also come to  consensus about what the different  performance levels of each criterion “look  like.”  Through the rubric development  process, librarians engage in meaningful  discussions that result in shared views of the  library product or service under scrutiny.   Librarians who use existing rubrics as tools  for EBDM can obtain similar benefits by  engaging in activities and discussions to  adapt a rubric to local needs.  Once created  or adapted, rubrics not only represent  consensus views of librarians, they also  communicate shared values to others,  including new librarians and external  stakeholders (Stevens and Levi 23).  Finally,  they help “combat . . . accusations that  evaluators do not know what they are  looking for” (Bresciani, Zelna, and  Anderson 30).      Rubrics offer a second important benefit for  EBDM: descriptive, yet easily digestible data  (Bresciani, Zelna, and Anderson 30).   Because full model rubrics include  descriptions of the key components of a  library product or service at a number of  performance levels, they provide detailed  information for decision‐making.  At the  same time, rubric data is easily simplified.   For example, one might report that a library  service operated at a “good” level during  80% of observed performances.  If more  detail is required, the rubric definition of  “good” can be added to the percentage to  make it more meaningful.  In this way,  rubric data can be reported in simple  percentages or with details described in the  rubric as the situation and audience require.     Rubrics offer librarians engaged in EBDM a  third significant benefit.  Because rubrics  analyze agreed upon, detailed descriptions  of library activities, they prevent inaccuracy  of scoring (Popham 95) and bias (Bresciani,  Zelna, and Anderson 31).  Rubrics clarify  schemes for evaluation ahead of time, and  therefore reduce subjectivity (Moskal).   Since rubrics guide librarians to focus on  essential criteria (Callison 35), they can  assess products and services more easily  and objectively (Bernier 25).  Even in team  or collaborative environments, rubric  Evidence Based Library and Information Practice 2007, 2:3  30       Figure 1.  Study Rubric Assessing Student Evaluation of Web Site Authority      evaluations are “likely to be reasonably  objective and consistent” (Callison 35).        Rubrics offer a fourth benefit.  When rubrics  are employed to make evidence based  decisions about library instructional  programs, as in the study described below,  students are significantly impacted.  Because  rubrics reveal the expectations of instructors  and librarians, students can focus on  achieving, rather than deciphering, learning  goals.  Because full model rubrics offer both  numerical scores and descriptions of  performance levels, ratings are more  meaningful to students than letter or  numerical scores alone (Bresciani, Zelna,  and Anderson 35).  They also provide  students with feedback about what they  have already learned and what they have  yet to learn.  As a result, rubrics support  student learning, self‐evaluation, and  metacognition.  Methodology  This study investigated librarians’ use of  rubrics as an EBDM tool to improve an  online information literacy tutorial.  The  data for the study came from student  responses to open‐ended questions  embedded in an online information literacy  tutorial, LOBO, used by first‐year students  in English 101 at North Carolina State  University (NCSU), Raleigh, North Carolina.   This study focused on one open‐ended  tutorial question that required students to  analyze and evaluate the authority of a  Web‐site they intended to use as support for  an academic paper.    Study participants applied a full‐model,  analytic rubric (Figure 1) to transform  students’ textual responses into quantitative  data. They then completed an open‐ended  comment sheet designed to capture their  opinions of the process.  To replicate  conditions encountered in real life, the  Evidence Based Library and Information Practice 2007, 2:3  31 internal (NCSU) participants in this study  took part in a training session.  In contrast,  the external (non‐NCSU) participants were  provided with a substantial amount of  background material, directions, and  examples to familiarize them with the  campus culture and study context—content  that might be found in an article or written  report, but they did not receive face‐to‐face  training.      After both groups applied the rubric to the  student responses, the data was statistically  analyzed for reliability and validity.  Data  that was determined to be reliable  (consistent) and valid (accurate) was put to  use for instructional decision‐making.  Data  that was not found to be both reliable and  valid was further analyzed to identify  barriers that impede librarians’ successful  use of rubrics.      Study Participants  There were twenty‐five participants in this  study evenly divided into five groups:     • NCSU librarians   • NCSU English 101 instructors   • NCSU English 101 students   • Association of Research Libraries  (ARL) instruction librarians    • ARL reference librarians with  limited instruction responsibilities.      Selected participants represented a cross  section in gender, race, and areas of  expertise.      The fifteen internal (NCSU) participants  (librarians, instructors, and students) took  part in a rubric training session.  Because  most of the participants had little prior  experience with rubrics, the researcher  introduced rubrics by providing a definition,  describing the component parts of rubrics,  and providing the study rubric.  The  researcher followed a multi‐step process to  familiarize the participants with the task of  scoring student responses.  The researcher  began by sharing five “anchor” responses to  demonstrate the range of student responses  with the participants and to model the  scoring process by “thinking aloud.”   Working in small groups the participants  scored five more anchor responses  independently and discussed the scores they  assigned.  During these sessions discussion  groups focused on inconsistent scores and  attempted to reconcile them.  Following the  discussion session, groups reported their  scores to the full group, and the full group  discussed the remaining inconsistencies and  reconciled them.  This process was repeated  twice.  Afterwards, participants scored  seventy‐five student responses.  Finally,  they completed an open‐ended comment  sheet and exited the scoring session.    The ten external (non‐NCSU) participants  did not experience a training session.   Instead, they were supplied with study  materials, background information, and  directions delivered via the mail.  The  mailing included study background  material, the seventy‐five study responses,  and the open‐ended comment sheet.  The  participants returned their completed study  materials by mail.    Statistical Analysis  To prepare the materials for statistical  analysis, the researcher assigned each cell of  the study rubric a point value.  The point  values were subjected to quantitative  analysis to describe student performance,  test for interrater reliability, and explore the  validity of participants’ rubric use.  Of the  three statistical analyses, the last is most  significant for demonstrating the utility of  rubrics as tools for EBDM.    To establish that rubrics can produce valid  analysis and evaluation of library products  and services, this study used Cohen’s Kappa  statistic and a “gold standard” approach.      Evidence Based Library and Information Practice 2007, 2:3  32 Kappa Statistic  Strength of Agreement  <0.00  Poor  0.00‐0.20  Slight  0.21‐0.40  Fair  0.41‐0.60  Moderate  0.61‐0.80  Substantial  0.81‐1.00  Almost Perfect    Figure 2.  Kappa Statistics and Strength of Agreement       Average Kappa  Rank  Participant Group  Status  0.72  1  NCSU Librarian  Expert  0.69  2  Instructor  Expert  0.67  3  Instructor  Expert  0.66  4  Instructor  Expert  0.62  5  NCSU Librarian  Expert  0.61  6  Instructor  Non‐Expert  0.59  7  Instructor  Non‐Expert  0.58  8  Student  Non‐Expert  0.56  9  Student  Non‐Expert  0.55  10  NCSU Librarian  Non‐Expert  .055  11  Student  Non‐Expert  0.54  12  Student  Non‐Expert  0.52  13  Student  Non‐Expert  0.52  14  NCSU Librarian  Non‐Expert  0.43  15  External Instruction Librarian  Non‐Expert  0.32  16  External Reference Librarian  Non‐Expert  0.31  17  External Instruction Librarian  Non‐Expert  0.31  18  NCSU Librarian  Non‐Expert  0.30  19  External Reference Librarian  Non‐Expert  0.30  20  External Instruction Librarian  Non‐Expert  0.27  21  External Reference Librarian  Non‐Expert  0.21  22  External Instruction Librarian  Non‐Expert  0.19  23  External Reference Librarian  Non‐Expert  0.14  24  External Instruction Librarian  Non‐Expert  0.13  25  External Reference Librarian  Non‐Expert    Figure 3.  Rank Order of Participants by Average Kappa      Typically used as a measurement of  interrater reliability, Cohen’s Kappa can also  be used to compare a group of raters to a  “gold standard” to check for validity (Gwet  202).  Gwet explains that the gold standard  is the “correct classification of subjects made  Evidence Based Library and Information Practice 2007, 2:3  33 by an experienced observer” (202).  When a  gold standard approach is used, it is  assumed that “the researcher knows the  ‘correct classification’ that may be due to an  expert judgment” (223).  Gwet explains,  “The question that the researcher wants to  answer is whether the . . . raters agree with  the standard.  Instead of evaluating the  extent of agreement between raters, the  researcher wants to know the truthfulness of  the observers’ ratings.”  This approach is  also known as a “rater‐to‐standard  reliability” or “rater‐to‐expert reliability”  (223).  Using Cohen’s Kappa, this study  compared each participant’s rubric scores to  the gold standard set by the researcher.   Then participants were ranked according to  their rater‐to‐standard reliability.  For  EBDM, only scores from the most “expert”  or valid rubric users are fit for use.     A major benefit of this method for  establishing valid rubric data is that Cohen’s  Kappa statistic can be easily interpreted  using an index (Figure 2) established by  Landis and Koch (Landis and Koch 165).  In  this study, Kappas were calculated for each  participant on the four rubric criteria as well  as the summary score assigned to student  responses (Figure 3).    Expert Rubric Users  Statistical analysis revealed that a subset of  participants included in this study were able  to achieve substantially valid results.  The  top five participants—two internal (NCSU)  librarians and three instructors—formed an  expert group of raters.  The expert  participants’ rubric data contributed to  improved online instruction and allowed for  comparative statistical analysis with the  other participant five‐member sub‐groups.   The emergence of an expert participant  group is a promising sign for the use of  rubrics to support EBDM.    On the other hand, three internal librarians  and all of the external librarians included in  the study were unable to achieve an expert  level of validity (Figure 3).  An analysis of  the interrater reliability among the expert  participants (Figure 4) and non‐expert  participants (Figure 5) demonstrates the  distinction between the two groups.  Expert  participants demonstrated moderate and  substantial agreement across all criteria of  the study rubric as well as the overall  “grade” assigned to the student  performance.  Non‐expert participants  showed only fair or slight agreement across  nearly all areas of the rubric.  The  application of two‐sided t tests (alpha level  of .05) to this data shows that these  differences in reliability levels are  statistically significant; t values of  individual rubric criteria range from 4.2 to  16.3.     This statistical analysis revealed two  additional items worth noting.  First, and  perhaps not surprisingly, the external  librarians provided the least valid rubric  results of all participants.  This may be  attributable to their lack of training or lack  of familiarity with NCSU library contexts.   The second remarkable result is the wide  variation of the internal librarians’ validity  rankings.  Although the highest validity  rank was achieved by a NCSU librarian, a  second NCSU librarian earned scores that  were no more accurate than external  librarians.  This extreme variation across  NCSU librarians demonstrates that training  and familiarity with library culture are not  enough to ensure valid rubric usage.  This  finding also highlights the importance of  conducting basic statistical tests to confirm  the validity of data used to make decisions  regarding library products and services.      Not All Rubric Users Are Experts  One of the most important findings of this  study is that not all rubric users are experts.   While this might seem obvious, in practice  many rubrics are used by people who have      Evidence Based Library and Information Practice 2007, 2:3  34 Expert Rat ers 0.77 0.74 0.48 0.6 0.52 -0.2 0 0.2 0.4 0.6 0.8 Art iculat es Crit eria Cit es Indicat ors P rovides Examples Judges Use Grade P oor Slight Fair Moderat e Subst ant ial Almost P erfect Figure 4.  Kappa Statistics for Expert Rubric Users, Standard Error =.03      Non-Expert Raters 0.29 0.24 0.17 0.47 0.27 -0.2 0 0.2 0.4 0.6 0.8 Articulates Criteria Cites Indicators Provides Examples Judges Use Grade Poor Slight Fair Moderate Substantial Almost Perfect   Figure 5.  Kappa Statistics for Non‐Expert Rubric Users, Standard Error =.006    not been verified as expert in the use of such  tools.  Often, expert ability is assumed based  on an individual’s educational background,  experience, or position in an educational  institution.  However, in this     study the group of expert participants  crossed divisions of background,  experience, and institutional position.  Thus,  the belief that rubrics can be used reliably  and validly by those who have a particular  Evidence Based Library and Information Practice 2007, 2:3  35 degree, a specific type of experience, or a  certain position within the institution is a  faulty assumption.  If rubric users are  selected because of their education,  experience, or position, rather than  demonstrated ability to provide reliable and  valid scores, library processes may be  evaluated inconsistently, inaccurately, or  unfairly.  This study supports the idea that  only the rubric results of demonstrated  experts should be used to make decisions  that impact library products and services.      Characteristics of Expert Rubric Users  While this study offers a statistical process  for identifying expert rubric users, it is also  wise to consider the factors that make an  “expert” an expert.  Why do some rubric  users achieve expert status while others do  not?  Some possible answers to this question  emerge both from the literature and from  the comments of the participants in this  study.      Some rubric users might be naturally  proficient scorers.  Wolfe, Kao, and Ranney  note that the most proficient scorers tend to  focus on the general features of a product or  performance and “adopt values espoused  by the scoring rubric” more so than less  proficient scorers.  Throughout the scoring  process, proficient rubric users revisit the  established criteria in order to ensure that  consistency is maintained (Moskal).   However, less proficient rubric users tend to  interrupt their observation of a product or  performance to monitor how well it satisfies  the rubric, rather than focusing on the  product or performance and then reviewing  it against the rubric (Wolfe, Kao, and  Ranney).  The literature also reports that  non‐expert rubric users may have diverse  outlooks, perspectives, and experiences that  need to be taken into account (Colton et al.  9).  Tired rubric users may not score  students evenly over a time period.  The  mood of the rater can affect scores, as can  prior knowledge (Moskal).  Finally, training  can impact the proficiency of rubric users,  and this is born out by the significant  differences between internal and external  participants in this study.      In addition, there may be other barriers that  keep rubric users from becoming experts.  In  this study, participants completed an open‐ ended comment sheet after scoring student  responses.  Non‐expert participants alluded  to some of these roadblocks in their  comments.  Their comments can be  categorized into six barriers that may  explain why some participants could not  attain expert status.      Barrier 1:  Difficulty Understanding an  Outcomes‐Based Approach   Libraries have a strong tradition of using  input and output measures to evaluate  products and services, and sometimes they  are slow to adopt outcomes‐based  approaches.  As a result, librarians may  struggle with outcomes‐based tools such as  rubrics.  The rubric used in this study was  based on outcomes included in the  Association of College and Research  Libraries’ Information Literacy Competency  Standards for Higher Education, a document  well known among academic reference and  instruction librarians.  Despite the  popularity of these standards and the recent  push for outcomes‐based assessment of  information literacy skills in academic  libraries, some participants of the study  appeared to be unfamiliar with key concepts  of outcomes‐based methods.  A few  participants voiced concerns that an  outcomes‐based approach to the assessment  of information literacy instruction may fail  to measure what they termed student  “understanding” or “ability.”  These  participants felt that using measurable  outcomes to assess student learning focused  too much on specific skills—too much  “science” and not enough “art.”  One  participant wrote, “While the rubric  measures the presence of concepts . . . , it  Evidence Based Library and Information Practice 2007, 2:3  36 doesn’t check to see if students understand  [the] issues.”  Another participant stated,  “This rubric tests skills, not . . . real  learning.”  These comments indicate that  librarians need to learn more about the  values and principles of outcomes‐based  assessment before they can make  meaningful progress in the assessment of  information literacy skills.      The need for improvement in this area has  also been noted in the literature.  Despite  reports that librarians are increasingly asked  to join other educators in justifying their  programs using learning outcomes  (Lichtenstein 28), Iannuzzi reports, “We  have yet to see widespread implementation  of outcomes assessment methodologies in  terms of student learning in our academic  libraries” (Iannuzzi 304).  Despite the slow  diffusion of such measures, outcomes‐based  approaches offer real benefits to librarians  striving to use EBDM practices to advance  library programs.  Smith states, “It is  important for libraries to understand the  processes that are used to define learning  outcomes, to select measures, to collaborate  with other academic departments, and to  use the results to improve their programs.”      Barrier 2:  Tension Between Analytic and  Holistic Approaches   A second barrier that may have prevented  some librarians in this study from attaining  expert status is a lack of comfort with  analytical evaluation.  One participant  worried that parsing user behavior into  components may result in  oversimplification, commenting that using  the rubric “was really simple.  But I worried  that I was being too simplistic . . . and not  rating [student work] holistically.”  Another  participant seemed to prefer assigning an  “overall” score, stating “the rubric is a good  and a solid way to measure knowledge of a  process, but it does not allow for raters to  assess the response as a whole.”      These comments reveal tension between  analytic and holistic approaches to  evaluation.  Both approaches have  advantages and disadvantages.  Arter and  McTighe recommend holistic rubrics for  simple products or performances,  particularly ones with only one important  criterion to assess.  They also note that  holistic rubrics are useful for “getting a  quick snapshot of overall quality or  achievement” (Arter and McTighe 21).   Unfortunately, holistic rubrics provide only  limited feedback (Mertler) and provide “no  detailed analysis of the strengths and  weaknesses of a product or performance.  So,  they’re not as useful diagnostically to help  plan instruction.  Nor do they provide  students with detailed feedback to guide  their improvement” (Arter and McTighe 21).      Because analytic rubrics “divide . . . a  product or performance into essential traits  or dimensions so that they can be judged  separately” (Arter and McTighe 18), they  allow for separate evaluations of each factor  along a different descriptive scale (Moskal).   This part‐to‐whole approach makes analytic  rubrics better suited for “judging complex  performances (e.g., research process)  involving several significant dimensions”  (Arter and McTighe 22).  According to  Mertler, analytic rubrics are preferred when  a focused response to stakeholders is  required.  However, these advantages come  at a cost.  Analytical rubrics take more time  to create and to use.  Arter and McTighe  write, “After all, you have more to discern”  (23).      The decision to use a holistic or analytic  rubric is one that should be based on the  product or performance to be assessed, the  criteria to be observed, and the purpose of  the assessment.  Mertler states that the most  important factor to consider is how the  results of the assessment will be used.  He  writes, “If an overall, summative score is  desired, a holistic scoring process would be  Evidence Based Library and Information Practice 2007, 2:3  37 more desirable.  In contrast, if formative  feedback is the goal, an analytic scoring  rubric should be used.”  In the case of the  study rubric, formative feedback was  required, not only for students, but also for  librarians.  Without formative feedback,  librarians could not make decisions for  improvements to the tutorial.  In a different  EBDM scenario, a holistic rubric might be  more appropriate.    Barrier 3:  Failure to Comprehend the  Rubric  A third issue that may prevent rubric users  from becoming “experts” is simple:  a failure  to understand some aspect of the rubric.   Nearly all the participants used in this study  claimed that they understood the terms  used in the rubric.  Still, one important  comprehension problem surfaced during  this study.  A few external librarian  participants failed to realize that rubrics are  intended to judge performances on quality,  not quantity, or how many times a  performance is observed (Callison 36).  One  participant wrote, “The student might cite  one example, . . . but not . . . enough for me  to consider it exemplary.”  This focus on  quantity rather than quality reveals a lack of  experience with rubric design that might be  easily addressed through training.    Barrier 4:  Disagreement with Assumptions  of the Rubric  The content of any rubric is based on certain  assumptions.  In this study, the major  assumption is that the capacity to use the  criterion of authority for Web site evaluation  is comprised of the ability to use criterion  terminology, cite examples of indicators of  the criterion, identify those indicators in an  example Web site, and make a reasoned  decision about the use of the example Web  site.  This assumption is based on two  documents from the Association of College  and Research Libraries: the Information  Literacy Competency Standards for Higher  Education and the Objectives for Information  Literacy Instruction: A Model Statement for  Academic Librarians.  Perhaps the biggest  hurdle for some study participants was their  disagreement with the standards on which  the rubric was based; as a result, they could  not fully internalize the assumptions of the  rubric.  The standard that posed the most  difficulty for participants was Standard 3.2,  which reads, “The information literate  student articulates and applies initial criteria  for evaluating both the information and its  sources.”  Several participants argued that  students should not have to articulate Web  evaluation criteria—in this case, authority.   These participants felt that assessing  students’ ability to use criteria terminology  resulted in “looking for specific terms and  missing the overall point of the responses.”   One participant commented that by  expecting students to articulate criteria  terminology, the rubric “valued students’  ability to use particular words but does not  measure their understanding of concepts.”   This comment indicates that disagreement  with one part of the rubric impacted the  participant’s ability to adopt the rubric in its  entirety.      It is important to note that conflicts with the  assumptions of a rubric might be avoided if  participants are included in the rubric  development process.  For this study, such  an approach was not feasible, but research  confirms the value of allowing stakeholders  to discuss and determine agreed upon  values of student learning.      Barrier 5:  Difficulties with Artifacts   Artifacts of library processes present a fifth  potential barrier to participants’ expert  status.  In this study, several participants  commented on the difficulty of interpreting  artifacts of student learning because some  student responses were cryptic, incomplete,  vague, or incorrect.  One external  participant said that she found herself  “giving the more cryptic answers the benefit  of the doubt.”  Another complained that  Evidence Based Library and Information Practice 2007, 2:3  38 student responses were sometimes  incomplete.  She questioned, “If a student  answer consists of a bulleted list of  responses to the prompt, but no discussion  or elaboration, does that fulfill the  requirement?”  Another lamented, “It’s  really hard . . . when students are asked to  describe, explain, draw conclusions, etc. and  some answer with one word.”  A fourth  asked, “Should the rubric be used on ‘text’  that isn’t in complete sentence form?  How  much should one use the LOBO prompt to  interpret student answers?”  Some  participants were stymied by incorrect or  partially incorrect answers.  One wrote, “I  suspect my own perceptions of the  ‘correctness’ of the answers affected me.”   Another stated, “It killed me that I couldn’t  take points off for incorrect information.”   These comments indicate that difficulties  with artifacts can affect participants’ ability  to produce reliable (consistent) and valid  (accurate) results.    Barrier 6:  Difficulties Understanding  Library Context and Culture  In this study, external librarian participants  achieved the lowest levels of validity, a  result that could be due to lack of training or  a lack of familiarity with NCSU library  conventions and culture. It appears that the  typical model of exporting a tool that works  at one library for use in another library via  professional listservs or journals may not  produce valid data for EBDM.  This is an  important finding with implications for  librarians’ professional practice.  If tools are  to be shared among libraries, perhaps local  training and adaptation are necessary, and  the results should be statistically analyzed to  confirm data quality.    The Need for Training  In the hands of experts, the rubrics  employed in this study yielded detailed and  comprehensible data that facilitated  instructional decision‐making. This study  also reveals that non‐expert rubric users  may be unable to produce valid evaluations  of library products and services without  additional local training.      To overcome barriers to successful rubric  usage, training should teach librarians the  value and principles of outcomes‐based  approaches to library analysis and  evaluation.  Training should incorporate the  theories that underlie rubrics as well as the  advantages and disadvantages of analytic  and holistic rubric models.  In addition,  training should cover the structural issues  that can limit the reliability, validity, and  overall usefulness of rubrics: some rubrics  are not well written (Popham 95); some use  wording that is too general or too specific  (Tierney and Simon); some are too long  (Popham 98); some include inconsistencies  (Tierney and Simon); and some emphasize  quantity rather than quality (Callison 36).   Furthermore, training should address  methods for eliminating disagreement with  assumptions of a rubric.  Finally, because  rubrics may be used to analyze and evaluate  library products and services that generate  “messy” data, training should review the  difficulties librarians are likely to encounter  in the data and methods for handling them.    Conclusion  This study demonstrated that not all  librarians are proficient or “expert” in the  use of rubrics.  It also revealed that six  barriers may impact librarians’ ability to  apply rubrics for EBDM: 1) difficulty  understanding outcomes‐based assessment;  2) tension between analytic and holistic  rubric approaches; 3) failure to comprehend  rubric content; 4) disagreement with rubric  assumptions; 5) difficulties with artifacts of  library processes; and 6) difficulty  understanding non‐local library context and  culture.  All these barriers can be addressed  by training.  However, if training is required  to help librarians use rubrics to produce  reliable and valid results, skeptics might ask  if the benefits are worth the time and energy  Evidence Based Library and Information Practice 2007, 2:3  39 required.  Certainly, there are costs  associated with training, but the advantages  of rubrics outweigh the costs (Prus and  Johnson 25).  The participants of this study  confirmed the value of rubrics—nearly all  participants stated that they could envision  using rubrics to improve library  instructional services.  Indeed, results from  the study were used to enhance tutorial  content and questions.  Both participant  feedback and tutorial improvements attest  to the merit of rubrics as tools for effective  EBDM practice.  Future research efforts  should focus on the attributes of expert  raters and the effects of different types and  levels of rater training; these research foci  will illuminate best practices in the use of  rubrics for EBDM.  In short, librarians eager  to use EBDM strategies should invest in  rubric training and pursue research in this  area.  To do otherwise is to discard a viable  approach to EBDM that offers librarians a  wealth of benefits.     Acknowledgement    A version of this paper was presented at the  4th International Evidence Based  Librarianship Conference, held in Chapel  Hill, North Carolina, USA (May 2007) and  awarded Best Paper.  See  http://www.eblip4.unc.edu/papers/Oakleaf. pdf      Works Cited    Arter, Judith, and Jay McTighe. Scoring  Rubrics in the Classroom:  Using  Performance Criteria for Assessing and  Improving Student Performance.  Thousand Oaks, California: Corwin  Press, 2000.    Association of College and Research  Libraries. Information Literacy  Competency Standards for Higher  Education. 2000. 22 April 2005  .    Association of College and Research  Libraries.  Objectives for Information  Literacy Instruction: A Model  Statement for Academic Librarians.  2001. 25 July 2007  .    Bernier, Rosemarie. “Making Yourself  Indispensable By Helping Teachers  Create Rubrics.” CSLA Journal 27.2  (2004): 24‐25.    Bresciani, Marilee J., Carrie L. Zelna, and  James A. Anderson.  Assessing Student  Learning and Development:  A  Handbook for Practitioners.  Washington: National Association of  Student Personnel Administrators,  2004.      Buchanan, Lori E. ʺAssessing Liberal Arts  Classes.ʺ  Assessing Student Learning  Outcomes for Information Literacy  Instruction in Academic Institutions.  Ed. Elizabeth Fuseler Avery. Chicago:  Association of College and Research  Libraries, 2003. 68‐73.     Callison, Daniel. “Rubrics.” School Library  Media Activities Monthly 17.2 (Oct  2000): 34.    Choinski, Elizabeth, Amy E. Mark, and  Missy Murphey. ʺAssessment with  Rubrics:  An Efficient and Objective  Means of Assessing Student Outcomes  in an Information Resources Class.ʺ  Portal:  Libraries and the Academy 3.4  (2003): 563‐75.    Colton, Dean A., Xiaohong Gao, Deborah J.  Harris, Michael J. Kolen, Dara  http://www.eblip4.unc.edu/papers/Oakleaf http://www.ala.org/ala/acrl/acrlstandards/informationliteracycompetency.htm http://www.ala.org/ala/acrl/acrlstandards/informationliteracycompetency.htm http://www.ala.org/ala/acrl/acrlstandards/informationliteracycompetency.htm http://www.ala.org/ala/acrl/acrlstandards/objectivesinformation.htm http://www.ala.org/ala/acrl/acrlstandards/objectivesinformation.htm Evidence Based Library and Information Practice 2007, 2:3  40 Martinovich‐Barhite, Tianyou Wang,  and Catherine J. Welch. “Reliability  Issues with Performance Assessments:  A Collection of Papers.” ACT Research  Report Series 97.3 (1997). 28 Aug. 2007  .    DʹAngelo, Barbara J. ʺIntegrating and  Assessing Information  Competencies in a Gateway  Course.ʺ Reference Services Review  29.4 (2001): 282‐93.    Emmons, Mark, and Wanda Martin.  ʺEngaging Conversation: Evaluating  the Contribution of Library  Instruction to the Quality of Student  Research.ʺ College & Research  Libraries 63.6 (2002): 545‐60.    Franks, Dana. ʺUsing Rubrics to Assess  Information Literacy Attainment in  a Community College Education  Class.ʺ  Assessing Student Learning  Outcomes for Information Literacy  Instruction in Academic Institutions.  Ed. Elizabeth Fuseler Avery.  Chicago: Association of College and  Research Libraries, 2003. 132‐47.     Gauss, Nancy, and Kathleen Kinkema.  ʺWebliography Assignment for a  Lifetime Wellness Class.ʺ  Assessing  Student Learning Outcomes for  Information Literacy Instruction in  Academic Institutions. Ed. Elizabeth  Fuseler Avery. Chicago: Association  of College and Research Libraries,  2003. 161‐71.     Gwet, Kilem. Handbook of Inter‐Rater  Reliability: How to Estimate the  Level of Agreement between Two or  Multiple Raters. Gaithersburg, MD:  STATAXIS, 2001.    Hafner, John C. “Quantitative Analysis of  the Rubric as an Assessment Tool:   An Empirical Study of Student Peer‐ Group Rating.” International  Journal of Science Education 25.12  (2003).    Hutchins, Elizabeth O. ʺAssessing  Student Learning Outcomes in  Political Science Classes.ʺ  Assessing  Student Learning Outcomes for  Information Literacy Instruction in  Academic Institutions. Ed. Elizabeth  Fuseler Avery. Chicago: Association  of College and Research Libraries,  2003. 172‐84.     Iannuzzi, Patricia. “We Are Teaching, But  Are They Learning:  Accountability,  Productivity, and Assessment.”  Journal of Academic Librarianship  25.4 (1999): 263‐266.    Kivel, Andy. ʺInstitutionalizing a  Graduation Requirement.ʺ   Assessing Student Learning  Outcomes for Information Literacy  Instruction in Academic Institutions.  Ed. Elizabeth Fuseler Avery.  Chicago: Association of College and  Research Libraries, 2003. 192‐200.     Knight, Lorrie A. ʺUsing Rubrics to  Assess Information Literacy.ʺ  Reference Services Review 34.1  (2006): 43‐55. 25 July 2007  .    Kobritz, Barbara. ʺInformation Literacy in  Community College  Communications Courses.ʺ   Assessing Student Learning  Outcomes for Information Literacy  Instruction in Academic Institutions.  Ed. Elizabeth Fuseler Avery.  http://www.act.org/research/reports/pdf/ACT_RR97%E2%80%9003.pdf%00%00 http://www.act.org/research/reports/pdf/ACT_RR97%E2%80%9003.pdf%00%00 http://www.emeraldinsight.com/Insight/viewContentItem.do?contentType=Article&contentId=1541934 http://www.emeraldinsight.com/Insight/viewContentItem.do?contentType=Article&contentId=1541934 http://www.emeraldinsight.com/Insight/viewContentItem.do?contentType=Article&contentId=1541934 Evidence Based Library and Information Practice 2007, 2:3  41 Chicago: Association of College and  Research, 2003. 207‐15.     Landis, J. Richard and Gary G. Koch.  “The Measure of Observer  Agreement for Categorical Data.”  Biometrics 33 (1977): 159‐174.    Lichtenstein, Art A.  “Informed  Instruction:  Learning Theory and  Information Literacy.” Journal of  Educational Media and Library  Sciences 38.1 (2000): 22‐31.    Mertler, Craig A. “Designing Scoring  Rubrics For Your Classroom.”  Practical Assessment, Research and  Evaluation 7.25 (2001). 27 July 2007  .    Merz, Lawrie H., and Beth L. Mark. Clip  Note #32: Assessment in College  Library Instruction Programs.  Chicago: Association of College and  Research Libraries, 2002.    Moskal, Barbara M. “Scoring Rubrics:   What, When, and How?” Practical  Assessment, Research, and  Evaluation 7.3 (2000). 27 July 2007  .    Nitko, Anthony J. Educational  Assessment of Students. Englewood  Cliffs, NJ: Prentice Hall, 1996.    Oakleaf, Megan.  ʺAssessment of Student  Information Literacy Skills:  An  Investigation of a Rubric  Approach.ʺ  Undergraduate  Assessment Symposium, North  Carolina State University, Raleigh,  NC, USA, 7 Apr. 2006.    Oakleaf, Megan.  “Assessing Information  Literacy Skills: A Rubric Approach.”   Diss. U. of North Carolina – Chapel  Hill. 2006.    Popham, W. James. Test Better, Teach  Better: The Instructional Role of  Assessment. Alexandria, VA:  Association for Supervision and  Curriculum Development, 2003.    Prus, Joseph and Reid Johnson. “A  Critical Review of Student  Assessment Options.” New  Directions for Community Colleges  88 (1994).    Rockman, Ilene F. Rubrics for Assessing  Information Competence in the  California State University.  2002. 10  Apr. 2005.  .    Smalley, Topsy N. Bay Area Community  Colleges Information Competency  Assessment Project.  2003. 17 Nov.  2003.  .    Smith, Kenneth R. New Roles and  Responsibilities for the University  Library:  Advancing Student  Learning through Outcomes  Assessment. Association of  Research Libraries, 2000. 24 July  2007  .    Stevens, Dannielle D. and Antonia Levi.  Introduction to Rubrics: An  Assessment Tool to Save Grading  Time, Convey Effective Feedback,  and Promote Student Learning.  Sterling, Virginia: Stylus, 2005.    Tierney, Robin and Marielle Simon.  “Whatʹs Still Wrong With Rubrics:   http://pareonline.net/getvn.asp?v=7&n=25 http://pareonline.net/getvn.asp?v=7&n=25 http://pareonline.net/getvn.asp?v=7&n=3 http://pareonline.net/getvn.asp?v=7&n=3 http://www.calstate.edu/LS/1_rubric.doc http://www.calstate.edu/LS/1_rubric.doc http://www.topsy.org/ICAP/ICAProject.html http://www.topsy.org/ICAP/ICAProject.html http://www.arl.org/newsltr/213/assess.html http://www.arl.org/newsltr/213/assess.html Evidence Based Library and Information Practice 2007, 2:3  42 Focusing On the Consistency of  Performance Criteria Across Scale  Levels.” Practical Assessment,  Research, and Evaluation 9.2 (2004). 27  July 2007  /    Warmkessel, Marjorie M. ʺAssessing  Abilities of Freshmen to Reconcile  New Knowledge with Prior  Knowledge.ʺ  Assessing Student  Learning Outcomes for Information  Literacy Instruction in Academic  Institutions. Ed. Elizabeth Fuseler  Avery. Chicago: Association of  College and Research Libraries,  2003. 249‐56.     Wiggins, Grant. “Creating Tests Worth  Taking.” A Handbook for Student  Performance in an Era of  Restructuring. Eds. R. E. Blum and  Judith Arter. Alexandria, VA:  Association for Supervision and  Curriculum Development, 1996.    Wolfe, Edward W., Chi‐Wen Kao, and  Michael Ranney. “Cognitive  Differences In Proficient and  Nonproficient Essay Scorers.”  Written Communication 15.4 (1998).   25 July 2007.   .        http://pareonline.net/getvn.asp?v=9&n=2 http://pareonline.net/getvn.asp?v=9&n=2 http://wcx.sagepub.com/cgi/content/abstract/15/4/465 http://wcx.sagepub.com/cgi/content/abstract/15/4/465