Microsoft Word - ES_Hook.doc Evidence Based Library and Information Practice 2007, 2:1  137 Evidence Based Library and Information Practice       Evidence Summary    Web‐Based Portal for Impact Evaluation Reveals Information Needs for Museums,  Libraries and Archives      A review of:  Williams, Dorothy A., Caroline Wavell, Graeme Baxter, Alan MacLennan, and Debbie Jobson.  “Implementing Impact Evaluation in Professional Practice: A Study of Support Needs  Within the Museum, Archive and Library Sector.” International Journal of Information  Management 25.6 (Dec. 2005): 533‐48.    Reviewed by:   David Hook  Manager, Operations Information and Configuration Management, MDA  Brampton, Ontario, Canada  E‐mail: david.hook@mdacorporation.com        Received: 11 December 2006  Accepted: 11 January 2007      © 2007 Hook. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective – This study reports on research  into the information and support needs of  practitioners in the museum, archive, and  library sectors, who are undergoing an  impact evaluation.    Design – Qualitative survey.    Setting – Web‐based questionnaire.    Subjects – Twenty‐one practitioners in the  fields of museums, archives, and libraries.    Methods – The study made use of a small‐ scale web portal that provides impact  evaluation research findings, toolkits, and  examples of methods. The portal’s intent  was to present to the users multiple views of  the available information in order to  overcome the problem of users not being  able to identify their needs. A purposive  sample group consisting of 50 practitioners  from the museum, library, and archive fields  was invited to participate in a questionnaire  evaluating the website.    Main Results – Despite a fairly low  response rate (49%) and poor distribution  among the three sectors (museums, libraries,  and archives), the results indicated a  significant difference in the levels of  knowledge and understanding of impact  evaluation. Over half of the organizations  surveyed had done some assessment of their  Evidence Based Library and Information Practice 2007, 2:1  138 institution’s economic impact, and there  appears to be a rising trend towards doing  impact studies for specific projects and  developments. Nearly a quarter of the  organizations had not undertaken any  impact evaluation study previously.  Practitioners already familiar with impact  evaluation tended to look at broader range  of fields for expertise, whereas those with  less familiarity remained within their own  sector. Practitioners with less experience  preferred tools, guidance, and examples of  methodologies as opposed to actual  evidence of impact. The results also  provided the authors with feedback on their  web portal and how to organize the  information therein.    Conclusions – One of the findings of the  study was that the overall reaction to impact  evaluation support through research  evidence, guidance, and other mechanisms  was positive. For most practitioners,  evaluation itself and the level of  understanding of impact evaluation are at  early stages. The primary goals for those  undertaking impact evaluation were found  to be professional and organizational  learning, thus there is a need for practical  help and guidance in these areas. Time  limitation appeared to be a significant factor  in the responses – particularly with smaller  organizations – suggesting that their portal  material would provide much‐needed  assistance to such organizations. Finally, it  was concluded that future emphasis should  be placed on developing practical  applications rather than pure research.    Commentary   This study reports on research into the  professional needs of practitioners in the  museum, archive, and library sectors who  are undergoing an impact evaluation.  Previous studies (Wavell, Baxter, Johnson &  Williams) have shown that impact  evaluation can pose many challenges to  practitioners, due to the lack of available  mechanisms to accurately assess impact. The  authors provide a detailed literature review  to further explain the current climate of  evaluation.    This study undertook an interesting  methodology to avoid some of the problems  encountered in typical questionnaires that  ask about information needs. Without  having proper knowledge of available  solutions, questionnaire respondents may  have difficulty identifying their actual  information needs. By combining the survey  with a web portal that presents available  solutions as the authors have done, the  respondents can develop an appreciation for  their actual information needs. The web  portal used for this study was built from  knowledge gained on a previous study by  the authors.    One the flip side, by piggybacking this  study on the back of a web portal, this  methodology leads to some confusion. It  appears that the survey was designed to  both evaluate a web portal and to determine  support needs for practitioners for impact  evaluation. The study findings seem to  address the former issue while the  conclusions, the latter. Was it worthwhile to  combine these two objectives? Was the  survey instrument effective in addressing  the two needs of the study? It is difficult to  say because the survey questions were  unfortunately not provided, so one cannot  assess whether the questions fairly  addressed both issues or if they were more  geared toward one or the other. As well,  without the survey questions, it is not  possible to replicate the study based on the  information provided.     Similarly, screen shots of the web portal  would also have been a useful aid to  understand the feedback responses on the  portal itself. As with the survey questions,  no images of the web portal were included  with the study.  Evidence Based Library and Information Practice 2007, 2:1  139 One of the concerns about the study is the  sample size. Of 50 people invited to  participate, only 21 actually completed the  survey – 10, 6, and 4 from the museum,  archive, and library sectors respectively.  One participant was from all sectors.  Unfortunately, the low participation rate  does not give sufficient numbers to draw  conclusions that can be applied across the  professions. The authors, however, do  acknowledge this limitation. Another  concern is that considering there are as  many participants from the museum sector  as the other two combined, some of the  findings might well be skewed towards the  needs of museum practitioners.    The study is not particularly clear on how  the participants were chosen. There is some  indication that they may have been previous  users of the web portal, but there is also  indication that participants were recruited  via cold calling.    There are some inaccuracies in Table 1 in the  number and percentage of questionnaires  sent. The percentages total 117% and the  numbers total 60, rather than 51 as shown in  the Table. This is an error in the number of  Archives questionnaires sent; Table 1 shows  19 whereas the text mentions ten.    Unfortunately, with the low response rate,  the results must be regarded as anecdotal.  That being said, the results do give some  insight into the current state of research and  support for impact evaluations. As well, the  authors did receive some valuable feedback  on the available features, and the  organization and presentation of content on  their web portal.    Works Cited    Wavell, Caroline, Graeme Baxter, Ian   Johnson, and Dorothy Williams.  “Impact Evaluation of Museums,  Archives and Libraries: Available  Evidence Project.” 2002. The Robert  Gordon University. 4 Feb. 2007  .