Evidence Based Library and Information Practice Evidence Based Library and Information Practice 2010, 5.2  Evidence Based Library and Information Practice       Evidence Summary    Neuroscientists’ Domain Knowledge Does Not Improve Search Performance in PubMed     A Review of:  Vibert, N., Ros, C., Le Bigot, L., Ramond, M., Gatefin, J., & Rouet, J.‐F. (2009). Effects of domain  knowledge on reference search with the PubMed database: An experimental study. Journal  of the American Society for Information Science and Technology, 60(7), 1423‐1447.    Reviewed by:  Giovanna Badia  Librarian, Royal Victoria Hospital Medical Library, McGill University Health Centre  Montreal, Quebec, Canada  Email:  giovanna.badia@mail.mcgill.ca    Received: 16 Nov. 2009          Accepted: 6 Feb. 2010       2010 Badia. This is an Open Access article distributed under the terms of the Creative Commons‐Attribution‐ Noncommercial‐Share Alike License 2.5 Canada (http://creativecommons.org/licenses/by‐nc‐sa/2.5/ca/), which  permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly  attributed, not used for commercial purposes, and, if transformed, the resulting work is redistributed under the  same or similar license to this one.    Abstract   Objective – To determine whether  neuroscientists and life scientists’ domain  knowledge affects their search performance in  PubMed for neuroscience topics.    Design – Cross‐sectional experimental study.    Setting – State‐funded research laboratories in  the cities of Paris, Bordeaux and Poitiers,  France.    Subjects – There were 32 participants in the  study: 16 neuroscientists and 16 life scientists  with no experience in neuroscience. Both  groups were similar in terms of age, gender,  occupation, and online database search  experience.      Methods – All participants were asked to  complete the same five tasks in PubMed to  assess their search performance with this  database. Each task consisted of finding and  selecting bibliographic references on a  neuroscience topic within 15 minutes. The  instructions for these tasks were hidden from  view during the search process. Participants  performed the tasks on their office computers  between May 2005 and June 2006 in the  presence of one researcher who prompted  them to verbally describe what they were  doing and thinking as they searched. Each  participant also filled out a questionnaire  about their personal characteristics at the  beginning of the search session and completed  a second questionnaire about their knowledge  of PubMed at the end. The entire experimental  procedure lasted between 60 and 90 minutes  and was recorded. The relevancy of the  97 mailto:giovanna.badia@mail.mcgill.ca Evidence Based Library and Information Practice 2010, 5.2  bibliographic references selected was later  scored by two neuroscientists who did not  participate in the study. The data were  analyzed using multivariate analysis of  variance (MANOVA) and qualitative analysis  of verbal protocols.    Main Results – The MANOVA analysis did  not show any significant differences between  the total scores obtained by the neuroscientists  and the life scientists. Both groups were able  to find relevant PubMed references for each  task within the time allotted. Contrary to the  researchers’ first main hypothesis, the  neuroscientists’ domain knowledge did not  result in a superior search performance (i.e., in  less time spent searching and more relevant  results) compared to that of the life scientists.    However, domain knowledge did affect the  method of searching, confirming the  researchers’ second hypothesis. The life  scientists spent more time reading the  instructions for each task, included more  keywords in their search queries, and opened  more abstracts to select relevant references  than the neuroscientists. The life scientists also  used keywords that were almost exclusively  taken from the instructions for each task when  they searched PubMed and made significantly  more mistakes than the neuroscientists.    Furthermore, the participants’ knowledge of  PubMed was poor as was expected, despite  stating they used it very frequently. Half of the  participants did not attempt to use limits even  when the task called for it. The majority only  used PubMed in the most basic way, that is,  by typing keywords in the search box.      Conclusion – Domain knowledge affects how  end users search PubMed for topics in their  specialty, but it does not impact their  performance. Both the neuroscientists and the  life scientists successfully completed the  search tasks on neuroscience topics within the  allotted time. Both groups had basic  knowledge of PubMed, but were satisfied with  their performance and results.   The authors suggest that scientists would only  be interested in attending a PubMed training  session if they are convinced that they will  learn how to search more quickly.  Further  experiments are needed to verify the effects of  domain knowledge on search performance  with topics that are more general. The search  tasks used in this study were very specific,  which may have positively influenced the  performance of all participants. A different  control group that shares less basic domain  knowledge with the neuroscientists, such as  mathematicians or chemists, may also be  tested.      Commentary     Lindsay Glynn’s EBLIP Critical Appraisal  Checklist (2006) was used to critically appraise  this study. To place this study in context, the  authors conducted a comprehensive literature  review to identify the factors that influence  scientists’ online information seeking  behaviour. These factors are: experience in  online searching, knowledge or experience  using the search tool, domain knowledge, and  general cognitive abilities such as spatial  visualization, vocabulary level, and processing  speed. This study examined one of these  factors, domain knowledge, and the results  indicate that domain knowledge does not  affect search performance in PubMed, which  contradicts the authors’ original hypothesis.      However, there are confounding variables in  the study that may negate its findings. For  example, the search tasks were very specific.  Eighty‐four percent of the keywords used by  the neuroscientists to compose their queries  and 93% of the keywords used by the life  scientists were taken directly from the search  question. Participants were also required to  find only one or two articles to complete each  task. Both points raise questions about the  validity of the search tasks. Rather than  measuring the participants’ search  performance, the tasks may actually have  assessed the effectiveness of PubMed to return  some relevant results to pertinent keywords,  which were supplied by the researchers in the  search question. Secondly, the control group  (the life scientists) followed a similar  98 Evidence Based Library and Information Practice 2010, 5.2  99 undergraduate program to the test group (the  neuroscientists), which may have resulted in  sharing some basic domain knowledge that  gave both groups the same advantage in  answering the questions. The authors  suggested further experiments that will  address these weaknesses, including using less  well‐defined questions and adding a control  group that does not share basic domain  knowledge with the neuroscientists.    In addition, the small sample size and the  authors’ omission of their selection criteria for  the sample population make it difficult to  generalize the study’s findings. Stronger  evidence is needed to confirm that domain  knowledge does not improve search  performance in PubMed. It would also be  difficult for other researchers to replicate this  study, since the pre‐task and post‐task  questionnaires are not included in the  appendices.    Despite its weaknesses, this study will interest  reference and instructional librarians who seek  to understand how scientists search PubMed.  The appendix includes a detailed list of errors  made by participants during their searches,  which may suggest concepts or features that  should be stressed during a PubMed training  session. The authors feel that PubMed training  should focus on showing users how to  decrease the number of their mistakes and  search more quickly, rather than emphasizing  how to increase the relevancy of their search  results. The authors remind readers that  scientists and health professionals exhibit  satisficing behaviour when it comes to  information seeking, searching only as long as  it takes them to find enough useful references  to satisfy their information need.      References    Glynn, L. (2006). A critical appraisal tool for  library and information research.  Library Hi Tech, 24(3), 387‐399.