Microsoft Word - ES_Wilson.doc Evidence Based Library and Information Practice 2007, 2:3  114 Evidence Based Library and Information Practice       Evidence Summary    User Studies Differ Across Some Disciplines and May Not Be Very Effective    A review of:  Dervin, Brenda and CarrieLynn D. Reinhard. “Researchers and Practitioners Talk About  Users and Each Other. Making User and Audience Studies Matter‐‐Paper 1.”  InformationResearch 12.1 (Oct. 2006). 6 Aug. 2007 .    Reviewed by:   Virginia Wilson  SHIRP Coordinator, Health Sciences Library, University of Saskatchewan  Saskatoon, Saskatchewan, Canada  E‐mail: virginia.wilson@usask.ca        Received: 02 June 2007     Accepted: 22 July 2007      © 2007 Wilson. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – As part of a multi‐staged project,  this study seeks to identify the unanswered  questions about users as found in three  fields: library and information science (LIS),  human computer interaction, and  communication and media studies, as well  as the convergences and divergences across  these fields.    Design – A multi‐phased, qualitative study  involving individual face‐to‐face and  telephone interviews, as well as self  interviewing and focus groups.    Setting – The fields of LIS, human computer  interaction, and communication and media  studies as examined in interview situations.    Subjects – 83 international experts across   the three fields, as well as 31 local experts  from central Ohio, USA.    Methods – The majority of the 83  international experts in the fields of LIS,  human computer interaction, and  communication and media studies were  interviewed by telephone (some in person).  Thirty‐one local experts (7 public and 24  academic library directors) were  individually interviewed and also took part  in focus groups. The Sense‐Making  Methodology was used as an interview  approach with its emphasis on bridging  gaps. Neutral interview questions were used  to tease out the gaps in certain situations— in the case of this project, the gaps involve  communication and the unanswered  questions about users. Brenda Dervin  http://informationr.net/ir/12%E2%80%901/paper286.html%00%00 http://informationr.net/ir/12%E2%80%901/paper286.html%00%00 mailto:wilson@usask.ca http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:3  115 developed this approach, which has been  transformed and adapted by Dervin and a  host of other LIS researchers over the past 25  years. It is a metatheoretical approach that  has “evolved into a generalized  communication‐based methodology seen as  useful for the study of human sense‐making  (and sense‐unmaking) in any context”  (Dervin 729).  The Sense‐Making metatheory  is implemented three ways in the method:  “in the framing of research questions; in the  designing of interviewing; and in the  analyzing and concluding processes of  research” (Dervin 737). In the research  under review for this summary the answers  to the gap‐identifying questions allow  different disciplines to begin to  communicate and understand each other.   Using Sense‐Making in focus groups  involves self interviewing (diaries, journals)  and group discussions.    Interviews were transcribed using the  “smooth verbatim approach” in which non  fluencies such as repetition, hesitancies, and  partial words are eliminated. Care was  taken to ensure anonymity, as this is  necessary in the first step of the Sense‐ Making approach. The transcripts were  analyzed for themes to capture a broad  picture of what the participants struggle  with across disciplinary and research‐ practice divides. Analysis was carried out  by using comparative coding developed in  early grounded theory combined with the  Sense‐Making methodology’s emphasis on  gaps and bridging gaps. The “quotable  quote” was the unit of analysis, and  thematically representative quotes were  selected from the transcriptions.    Main Results – In an attempt to analyze  communication across and within  disciplines, the researchers did a thematic  analysis on the interviews conducted with  their international and local experts. The  thematic analysis found 12 major themes,  which included a total of 75 sub themes. The  12 major themes include the following:  Participants wanted to make a difference  with their work; participants agreed that  current user research is not doing the job;  there are fundamental disagreements about  users and user studies; there are  fundamental disagreements about the  purposes of using user studies; there are  external forces that make carrying out and  applying user studies difficult; there was a  lengthy list of differing suggestions for  improving user studies; interdisciplinary  communication across the three fields that  do user studies is not effective; it was agreed  that interdisciplinary contact is difficult;  communication across the research/practice  divide is not going well; some participants  saw academic researchers as the problem,  while some participants viewed  practitioners as the problem; and most  participants agreed that contact across fields  and the research/practice divide would be  beneficial.    The researchers contend that this analysis is  one of many that could be done on the  information retrieved from the interviews.  Their goal was not to find the definitive  answers, but to describe the difficulties that  participants are having across disciplines  and across the research/practice divide in  terms of communication and relating to user  studies. The researchers wanted to tease out  implications for communication and to  illustrate the multiplicity that they found.    Conclusion – It is difficult for this study to  draw conclusions except in the most general  sense, as it is part of a larger, multi‐staged  research project. However, this study did  find that although participants across fields  wanted a synthesis, they also expressed  their inability to understand syntheses from  fields other than their own. There were  some who wanted more theories, while  some claimed there were too many theories  already. There was much criticism about  communication across disciplines, but few  Evidence Based Library and Information Practice 2007, 2:3  116 solutions offered. The researchers can offer  up no “magic wands” as solutions for these  results, but they do suggest that the modes  of communication traditionally used in user  studies research are not working.    Commentary    This paper is the first report of what will be  a 5‐stage research project. Taken alone, the  paper offers up some interesting qualitative  revelations having to do with cross‐ disciplinary notions of the terms user,  audience, and user studies. The researchers  interviewed a total of 114 experts across the  three fields of LIS, human computer  interaction, and communication and media  studies. The international experts included  participants from all three fields, while the  local expert pool was comprised of only  librarians. It is not made clear in the paper  why the local pool did not include members  of the other two disciplines, except perhaps  that the researchers were constrained by the  parameters of their research funding.     There were some limitations in the process  of compiling the experts, which the  researchers outline in the paper: of the 83  international experts, only 10 were not  living in the US; the researchers faced  budget constraints which hampered their  efforts to expand the interviews outside of  the US; and the sample favoured academics  – only 17% of the participants were, at the  time of the study, full‐time practitioners.  The researchers contend that the limitations  had little impact on the first stage of the  study because of its focus on  communication issues.    The qualitative procedures used in this  study are clearly described to the extent that  they can be in a paper of this length. The  researchers give enough information to  inform the reader, as well as for the reader  to follow up on the different methods if  desired. There is one gap in the description  of the qualitative approach taken, where the  researchers write that “standard quality  control procedures usually used in  qualitative research were applied” when  discussing the interview transcriptions (11  of 50). There is no elaboration on what these  quality control procedures entail.    The thematic analysis revealed disparate  notions of the value of user studies across  disciplines, mainly due to the fact that  different terminology is used – disciplines  often do not speak the same language. This  revelation is helpful for LIS practitioners.  When searching for evidence across  disciplines in the area of user studies, it is  useful to know that different disciplines can  use the terminology differently. That does  not mean that cross‐disciplinary evidence  cannot be used; however an awareness of  the differences is necessary in order to fully  use the information. There was also the  trend of the experts not finding that user  studies are doing the job. This can be seen as  a call for different approaches to user  studies, and these approaches can be  informed by the multi‐disciplinary aspects  revealed by the research in this study.      Work Cited    Dervin, Brenda. “On Studying Information  Seeking Methodologically: The  Implication of Connecting Metatheory  to Method.” Information Processing  and Management. 35.6 (Nov. 1999):  727‐50.