Microsoft Word - ES_Corkett.doc Evidence Based Library and Information Practice 2006, 1:4      74 Evidence Based Library and Information Practice       Evidence Summary    The Quality of Canadian and U.S. Government Health Documents Remains  Unchallenged Until Better Research Can Be Undertaken    A review of:  Lambert, Frank. “Assessing the Authoritativeness of Canadian and American Health Documents:  A Comparative Analysis Using Informetric Methodologies.” Government Information  Quarterly 22.2 (2005): 277‐96.      Reviewed by:  Michael Corkett  Senior Information Specialist  National Collaborating Centre for Women’s and Children’s Health  London, England, United Kingdom  E‐mail: mcorkett@ncc‐wch.org.uk      Received: 25 July 2006            Accepted: 25 October 2006      © 2006 Corkett. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.      Abstract    Objective ‐ To assess by means of citation  analysis whether the public trust afforded  health documents published by the  Canadian and U.S. governments is  appropriate, and to ascertain whether  differences in the respective health care  systems influence how publications are  produced.    Design – Comparative study.    Setting – The Canadian Depository Service  Program (DSP) and the U.S. Department of  Health and Human Services (DHHS) web  sites.  Subjects – One hundred sixty‐six electronic  documents sourced from the DSP website,  and 284 electronic documents sourced from  the DHHS website.     Methods – Subjects were randomly selected  from repositories offering the most  comprehensive collections. Documents with  evidence of references to other works used  in preparation were separated from those  without such characteristics. Data variables  were collected from documents with  evidence of references. Statistical analysis of  the data was undertaken.     Main results – Of the respective samples, 89  (53%) from the DSP and 109 (38.4%) from  http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:4      75 the DHHS contained references. Personal  authors were identified in 46 (51.7%) and 63  (58%) of the respective subsets. Handbooks  and guidebooks accounted for the largest  portion of the DSP subset (29; 32.6%) and  government periodicals were the largest  constituent of the DHHS subset (41; 37.6%).  Scholarly journals were the most common  reference type for both the DSP (44%) and  the DHHS (58.5%) subsets. The number of  references per document was widely  dispersed for both subsets; the DSP mean  was approximately 64 (SD=114.68) and the  DHHS was 73.71 (SD=168.85). Kruskal‐ Wallis subset analysis of median number of  references by document type found  differences generalizable to the entire DSP  (p<0.01) and DHHS (p<0.01) populations.  Health Canada Reports, handbooks, and  guidebooks contained significantly more  references than periodical articles or fact  sheets. Certain DHSS documents, classified  as “other,” contained more references than  periodical articles. Canadian documents  were more likely to contain references than  U.S. documents (p<0.01). Comparison of  documents to determine whether one  country employs more rigorous citation  practices did not produce statistically  significant results. U.S. Federal Government  documents are more likely to be referenced  in other U.S. government health documents,  compared to Canadian publications (p<0.01).  The presence of references in documents  from either country significantly affected  likelihood of being cited by web authors  (p<0.01).      Conclusion – Significant differences in  reference use frequencies between DSP and  DHHS documents challenges Foskett’s  stance that documents of value contain  references (Foskett). Use of peer‐reviewed  scholarly journals for both DSP and DHHS  publications was reassuring, suggesting a  fairly rigorous publication standard.  Reliance of DHHS publications upon federal  government documents remains unclear.  Referencing of DSP documents, irrespective  of reference usage suggests a level of trust  towards Canadian government health  publications. Web authors appear more  comfortable citing referenced DHHS  documents. Further study could involve the  examination of reference frequency by  journal compared against journal impact  factors.    Commentary    This is an ambitious study, which attempts  to go beyond the descriptive studies of  previous researchers by providing a  meaningful comparative analysis. However,  the study struggles to provide an insight to  levels of public trust in government health  documents. The choice of a comparative  study design is appropriate. However,  methodological concerns exist for all areas.    Despite the study objectives, the existence of  a concise and pragmatically considered  research question is uncertain. As previous  research demonstrates, citation analysis as  an indicator of individual or institutional  quality is often criticised and certainly  flawed (Seglen).    The literature review describes the paucity  of relevant evidence and lack of inferential  statistics from research to support previous  findings, yet the author’s search for  evidence could have been extended beyond  the databases Library Literature and Web of  Science. Methodological insight and  evidence from citation analysis of  biomedical journal quality may have proven  useful.         Population samples are described as  random, however detail is lacking as to how  randomisation was achieved. Indication of  sample stratification by health subject is not  provided, however Narin states that citation  dynamics can be so different across research  fields to make evaluative comparison on the  Evidence Based Library and Information Practice 2006, 1:4      76 basis of citations difficult or impossible.  Sample comparability at baseline therefore  remains unclear.     The data collection methods are poorly  described, and details of the collection  instrument are not provided. The main area  of concern is the lack of primary data  presented. Several analyses investigating  differences in reference type across  publication format were carried out,  however the reference type data cited in  each type of publication are not presented.  Whilst such an omission probably does not  affect the results and interpretation, it is not  good practice to present inferential statistics  without first presenting the actual data from  which the inferences arise.     Results are described in detail and  informetric techniques employed, however  analysis fails to satisfy the research  objectives. The DSP documents are more  likely to contain references than the DHHS  documents, yet there is no presentation of  evidence to indicate any significant step  towards answering the research questions.  Of genuine interest is the level of DHHS  referencing of U.S. government publications,  the overwhelming use of specific  publications, and the extent of self‐citation.  Data relating to document referencing of  peer‐reviewed journals implies that health  publications from both the DSP and the  DHHS are subjected to a fairly rigorous  publication standard, yet little is presented  to support or discount levels of trust, and no  explicit connections are made between the  different types of health care system and  implications for referencing habits.     Opportunity exists for future research in the  area of public trust in government  publications, including health issues.  However, any study would demand a more  rigorous methodological standard than  demonstrated in this study. It is worthwhile  to appreciate that when attempting to  measure the value of any publication,  citation analysis should not be considered as  the one and only evaluation criterion  (Shoonbaert).     Works cited    Foskett, Antony Charles. The Subject  Approach to Information. London:  Clive Bingley, 1977.    Narin, F. and Kimberly S. Hamilton.  “Bibliometric Performance Measures.”  Scientometrics 36.3 (1996): 293‐310.    Schoonbaert, D. and G. Roelants. “Citation  Analysis for Measuring the Value of  Scientific Publications: Quality  Assessment Tool of Comedy of  Errors?” Tropical Medicine &  International Health 1.6 (1996): 739‐52.    Seglen, Per O. “Why the Impact Factor of  Journals Should Not Be Used for  Evaluating Research.” British Medical  Journal 314.7079 (1997): 498‐502.