Microsoft Word - ES_Furlan.doc Evidence Based Library and Information Practice 2007, 2:2  97 Evidence Based Library and Information Practice       Evidence Summary    Virtual Racism Rears its Head: Uncovering Librarian Bias in E‐mail Reference Services    A review of:  Shachaf, Pnina, and Sarah Horowitz. ʺAre Virtual Reference Services Color Blind?ʺ Library &  Information Science Research 28.4 (Sept. 2006): 501‐20.    Reviewed by:   Wendy Furlan  Liaison Librarian, University of Queensland Library  Brisbane, Queensland, Australia  E‐mail: w.furlan@library.uq.edu.au      Received: 27 February 2007  Accepted: 24 April 2007      © 2007 Furlan. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – To examine whether librarians  provide equitable virtual reference services  to diverse user groups.    Design – Unobtrusive method of defined  scenarios submitted via e‐mail.    Setting – Twenty‐three Association of  Research Libraries (ARL) member libraries  from across the United States. All ARL  member libraries were invited to participate,  with the 23 acceptances providing 19%  participation.    Subjects – Anonymous librarians from the  23 participating libraries’ virtual e‐mail  reference services. Up to 6 librarians from  each library may have been involved.    Six fictitious personas were developed to  represent particular ethnic or religious  groups, whereby the ethnic or religious  affiliation was only indicated by the name  chosen for each user and the corresponding  e‐mail address. Names were selected from  lists of names or baby names available  online: Latoya Johnson (African‐American),  Rosa Manuz (Hispanic), Chang Su (Asian ‐  Chinese), Mary Anderson  (Caucasian/Christian), Ahmed Ibrahim  (Muslim), and Moshe Cohen  (Caucasian/Jewish). These personas were  used to submit reference queries via e‐mail  to the virtual reference services taking part  in the study.    Methods – Five different types of reference  queries were developed for use in this study.  Three were based on prior published  research as they were deemed to be  answerable by the majority of libraries. They  included a dissertation query, a sports team  query, and a population query all designed  to be tailored to the target institution. The  mailto:furlan@library.uq.edu.au http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:2  98 other 2 queries were developed with  participating institutions’ virtual reference  guidelines in mind, and were thought to not  be answered by the target institutions when  submitted by unaffiliated users. They  consisted of a subject query on a special  collection topic that asked for copies of  relevant articles to be sent out, and an article  query requesting that a copy of a specific  article be e‐mailed to the patron.    The study was conducted over a 6 week  period beginning the second week of  September, 2005. Each week, 1 fictitious  persona was used to e‐mail a reference  query to the virtual reference service of each  of the 23 participating institutions. Five of  each type of query were sent by each  persona. During September and October  2005, a total of 138 queries were sent. Each  institution received a different query for  each of the first 5 weeks, and in the sixth  week they received a repeat of a previous  request with details of title or years altered.  All other text in every request sent was kept  consistent. Each institution only received 1  request from each persona during the study.    In order to eliminate any study bias caused  by an informed decision regarding the order  in which personas were used, they were  randomly arranged (alphabetically by  surname). Furthermore, to avoid suspicions  from responding librarians, queries were e‐ mailed on different days of the week at  different times. This created some  limitations in interpretating response times  as some queries were submitted on  weekends.    All queries were analysed by Nvivo  software in order to identify attributes and  patterns to aid qualitative analysis. Each  transaction (a single query and any related  responses) was classified according to 12  attributes and 59 categories based on  various associations’ digital reference  guidelines. Transactions were coded and  then 10% re‐coded by a different coder. This  led to the clarification and refinement of the  coding scheme, resulting in the number of  categories used being reduced to 23. Coding  was then performed in 3 iterations until 90%  agreement between the 2 coders was  reached. The final inter‐coder reliability was  92%. The study did not support cross  tabulation among user groups on most  content categories due to the small sample  size.    Main results – Response times varied  greatly between users. Moshe  (Caucasian/Jewish) received an average  turn‐around of less than a day. At the other  end of the spectrum, Ahmed’s (Muslim)  responses took an average of 3.5 days. Both  Ahmed and Latoya (African‐American) sent  queries which took over 18 days to receive a  response. The length (number of words) of  replies also indicated a differing level of  service with Mary (Caucasian/Christian)  and Moshe receiving far lengthier responses  than the other 4 personas. Number of replies  (including automatic replies) was examined  in comparison with the number of replies  which answered the question, and again  indicated Mary and Moshe were receiving a  better level of service.     The way in which the user was addressed  by the librarian was examined as another  measure of service, i.e. first name, full name,  honorific. This again mirrored the low level  of service received by Ahmed. The  professional endings used by librarians in  their replies also reinforced the high quality  of service received by Moshe across other  categories.    Results for Rosa (Latino) and Chang (Asian ‐  Chinese) were average for most categories  presented.    Conclusion – In this study, a discriminatory  pattern was clearly evident, with the  African‐American and Muslim users  Evidence Based Library and Information Practice 2007, 2:2  99 receiving poor levels of service from virtual  reference librarians across all dimensions of  quality evaluated. The Caucasian (Christian  and Jewish) users also noticeably received  the best level of service. It is noted, however,  that the sample size of the study is not large  enough for generalisations to be drawn and  that future, more statistically significant  studies are warranted. Many other  questions are raised by the study for  possible future research into racism  exhibited by library staff and services.    Commentary      This study provides a relatively well  planned and considered look into the  discriminatory tendencies of reference  librarians when operating in the virtual  environment. The authors provide strong  linkages to professional association  guidelines from the International Federation  of Library Associations (IFLA) and the  Reference and User Services Association  (RUSA) together with a large body of  relevant research literature. The  methodology was relatively sound, with  most study aspects explained and  limitations stated and discussed. The  reference queries submitted to the target  library services are cleverly designed and  take advantage of prior reference service  research. The process of selecting library  services to be involved in the study drew on  a large pool of potential participants with all  ARL libraries invited to participate but  reference librarians operating the service  being unaware of queries relating to the  study, enabling an unobtrusive approach. A  thorough collection of tables and graphs are  included in the article to outline the  procedure and results, which greatly assist  the reader in following the study.    While the study was generally well  conducted and backed‐up with references to  prior literature, it is not without fault. Many  of the limitations and possible pitfalls  apparent in this study are identified and  discussed by the authors. The major  limitation of the study is the small sample  size, which the authors plainly state when  describing their methodology and talk about  further in the article’s discussion. The  discussion also suggests possible reasons for  negative service results for some factors  measured, including gender confusion of  user names, difficulties in distinguishing  first and last names of users, and variations  of query reply signatures due to  institutional policy. It is interesting to note  that although these limitations were openly  discussed, this is not reflected in the  concluding statements which, if read on  their own, indicate that virtual reference  librarians discriminate against Muslims and  African‐Americans and favour Caucasians.     There are, however, several other factors to  do with the design, methodology and  reporting of the study results that are either  not specified or unclear. When stating their  research question at the conclusion of the  introduction, the authors indicate that they  are also examining possible gender bias;  however, this is not mentioned or reported  upon anywhere else in the paper. The  authors do not state whether the analysis of  e‐mail responses was blind or not, a possible  source of bias left unknown. The  methodology is obtusely written, which,  combined with a lack of specifics on  ordering of e‐mails and who sent what to  whom, makes the study quite difficult to  replicate. The selection and evaluation of the  ethnical representation of user names for the  study is also questionable, with no  validation for this process presented. The  authors delayed making linkages between  some factors evaluated in the study and  quality of service until the paper’s  discussion. Several limitations of factors  measured are also not mentioned until the  discussion, although quite strong inferences  are drawn from them in the results section.  Such relationships and limitations should  Evidence Based Library and Information Practice 2007, 2:2  100 have been outlined earlier to enable a better  reading of results.    The way in which some data are graphically  presented and described in the results  section of the paper is questionable, and  raises concerns of possible author bias. For  example, the measure of response time is  quite well broken down in the second figure,  with the messages for each persona  displayed as percentages of messages within  each given response time (i.e. 70% of  Chang’s messages were responded to on the  same day). However, the first figure used to  represent this data simply displays the  average response times for all messages sent  by each persona. Presenting the data in this  way enabled possible response anomalies to  greatly skew the average response times  represented by the graph. Furthermore, the  authors have omitted any comment on the  response times for the Latino and Asian  personas, which scored quite well. These  two personas seem largely unaddressed, as  are negative results for the Jewish persona  and positive results for the Muslim persona.  This results in a very strong impression of  service bias to the reader if graphs are not  closely examined.  Direct links to existing professional  guidelines and research is extremely evident  in this paper. Furthermore, the authors give  substantial consideration to how this  research can be utilised by the profession  and expanded upon in future studies. Five  points are clearly included towards the end  of the discussion with direct ideas of what  libraries and LIS schools can do to improve  equality of physical and virtual services,  including training, service evaluations,  performance evaluations, emphasising the  importance of equitable services and  employing minorities. Further research  ideas include using a more statistically  significant sample, examining other library  services, studying services in other library  sectors, considering geographical location  and its relation to bias, or comparing public  and privately run higher education  institutions.     Overall, this study certainly raises some  questions about whether or not bias is  evident in library services, and gives some  practical ideas for how a library can  evaluate and improve equality of services.