Microsoft Word - ART_Yu.doc Evidence Based Library and Information Practice 2006, 1:2  12 Evidence Based Library and Information Practice     Article    What Can Students’ Bibliographies Tell Us? Evidence Based Information Skills  Teaching for Engineering Students      Fei Yu  Liaison Librarian  Dorothy Hill Physical Sciences and Engineering Library  University of Queensland  St. Lucia, Queensland, Australia  E‐mail: f.yu@library.uq.edu.au    Jan Sullivan  Liaison Librarian  Dorothy Hill Physical Sciences and Engineering Library  University of Queensland  St. Lucia, Queensland, Australia  E‐mail: j.sullivan@library.uq.edu.au    Leith Woodall  Liaison Librarian  Dorothy Hill Physical Sciences and Engineering Library  University of Queensland  St. Lucia, Queensland, Australia  E‐mail: l.woodall@library.uq.edu.au      Received: 20 April 2006   Accepted: 16 May 2006      © 2006 Yu, Sullivan, and Woodall. This is an Open Access article distributed under the terms of the Creative  Commons Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.    Abstract    Objective ‐ This project sought to identify students’ strengths and weaknesses in locating,  retrieving, and citing information  in order to deliver information skills workshops more  effectively.      http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2006, 1:2  13  Methods ‐ Bibliographies submitted from first‐year engineering and second‐ and fourth‐ year chemical engineering students’ project reports were analysed for the number of items  cited, the variety of items cited, and the correct use of citation style.  The topics of the  project reports were also reviewed to see the relationships between the topics and the items  cited.      Results ‐ The results show that upper level students cited more items in total than did lower  level students in their bibliographies.  Second‐ and fourth‐year engineering students cited  more books and journal articles than first‐year students cited.  Web sites were used  extensively by all three groups of students, and for some first‐year students these were the  most frequently used sources.  Students from all three groups had difficulties with citation  style.      Conclusion ‐ There was a clear difference in citation frequency between upper and lower  level engineering students.  Different strategies of information skills instruction are needed  for different levels of students.  Librarians and department faculty members need to include  good quality Internet resources in their teaching and to change the emphasis from finding  information to finding, interpreting, and citing accurately.      Introduction    One of the core duties of academic librarians  is to help university students develop  information skills.  In designing their  training programs, librarians are faced with  making practical decisions about the content  and delivery of the training.  Eldredge  claimed “evidence‐based librarianship offers  a decision‐making framework” (290).  This  study used the principles of evidence based  librarianship in its expectation of finding  evidence from students’ bibliographies to  help teaching librarians develop improved  information skills classes for engineering  students.      The Dorothy Hill Physical Sciences and  Engineering Library at the University of  Queensland offers many tailored  information skills workshops to students at  various levels of study and in different  disciplines in the Faculty of Engineering,  Physical Sciences and Architecture.   Tailored workshops were presented to  project design students in first‐year  engineering and second‐year and fourth‐ year chemical engineering programs.  The  primary goal of the workshops was to  develop the students’ ability to locate and  retrieve the information needed for their  projects.  Time was also spent teaching  citation techniques to be used in their  project reports.   Although general use of Internet search  engines was not usually encouraged, it is  acknowledged as an important source for  certain types of information.  Anecdotal  evidence suggests that students tend to use  the Internet to find information, rather than  using scholarly databases for journal articles  or searching library catalogues for books.   However, no study has examined the  information sources used by engineering  students for their design projects, or  determined what differences exist between  first‐year students and upper level students.      Another increasing concern among  librarians, as well as teaching academics, is  that students have very little knowledge of  or skill in citing the information correctly.   Again, few studies have examined this topic.   The question was whether instruction  librarians should spend more time in  training students how to cite information.  Evidence Based Library and Information Practice 2006, 1:2  14 Because the university is taking an  increasingly hard line on plagiarism,  students need to be aware of the necessity of  acknowledging other people’s work and  ideas by citing them in the bibliographies of  their research work.    This study was designed to find evidence  showing students’ strengths and  weaknesses in locating, retrieving, and  citing information, and the study also  sought to explore the implications for future  improvements in information skills teaching.       Literature Review    In order to help design information skills  programs, academic librarians have used a  range of research methods to identify the  information sources used by students in  their assignments.  These techniques include  survey questionnaires, pre‐testing and post‐ testing, focus groups, and interviews.      Majid and Tan used a questionnaire‐based  survey in their research and determined that  although books are students’ preferred  source of information, Internet search  engines such as Google and lecture notes  were the next favourite sources. Use of  computer databases and electronic journals  was surprisingly low (318).  Palmer and  Tucker conducted an evaluation of the  information skills literacy program at  Deakin University (Geelong, Victoria,  Australia) using a combination of pre‐ and  post‐tests with questionnaires.  They  concluded that the majority of first‐year  engineering and technology students were  familiar with basic types of information  sources such as books, journals, and Internet  websites.  Palmer and Tucker used  evaluation questionnaires to obtain  students’ feedback on improving  information literacy skills activities.   Students recommended that more time “be  directed to developing the concepts of  complex reference types, such as chapters in  books, papers in conference proceedings,  and other forms of academic monographs  with multiple authors” (28).     Tenopir’s study found that engineers read  fewer journal articles than scientists or  medical researchers (157).  Another study  found that engineers rely heavily on  interpersonal communication with  colleagues and social networks (Fidel and  Green 564).  Similar information using  behaviour may be reflected in engineering  students’ bibliographies for their writing  assignments, however little literature has  been identified on this topic.    Citation analysis is another technique used  in research studies.  It is widely used in  areas such as library collection policy  development, knowledge base structure  analysis, and academic research assessment.   However, it has had limited use in relation  to design and evaluation of information  skills programs in engineering.  One study  used citation analysis to identify the  information sources biology honours  students used for assignments (Kraus 175).   Citation analysis has also been used to  examine the accuracy of students’ citations  of information sources in their assignments.   In testing an online tutorial tool to track  students’ referencing errors, Kendall found  many students experience difficulties with  citing and referencing bibliographic sources  (131).  When referencing both books and e‐ documents, first‐year students made more  errors than postgraduates (62% for books vs.  44%, 85% for e‐documents vs. 80%).  The  errors included missing place of publication,  missing publisher details, missing date of  publication, incorrect format for author’s  name,  incorrect location of title in citation,  and incorrect format for title (Kendall).    In summary, a range of techniques such as  questionnaires and pre‐ and post‐tests have  been used in information skills research  studies. Only a few studies have been found  Evidence Based Library and Information Practice 2006, 1:2  15 where citation analysis was used to find  evidence of how students use information  sources and the problems students have  when citing the references in their  assignments. Few studies have analysed  undergraduate engineering students’  bibliographies to see what information  sources they use and how they cite the  sources.      The current study was designed to analyse  undergraduate engineering students’  bibliographies to confirm the findings from  previous research using techniques other  than citation analysis and to help determine  the components of information skills  teaching and training.    The Aim of the Study    The ultimate purpose of this study is to use  evidence found in research to plan, prepare,  and systematically design appropriate  information skills training for different  levels of engineering students.  In order to  achieve this purpose, we looked to see if  there was a relationship between the  research topic and the type of information  sources used.  Past experience has shown  that for some topics, students tend to use  one source of information more than others.   However, no research has confirmed or  refuted this observation from anecdotal  evidence.    The librarian instructors involved in this  research examined the bibliographies to see  if the items were correctly cited following a  known citation format.  The librarian  instructors regarded the ability to compile a  comprehensive and correctly cited  bibliography as a skill that all university  students should acquire.      Methodology    In this study, the bibliographies of design  project reports from first‐year engineering  students and second‐ and fourth‐year  chemical engineering students were  analysed.  In total, 134 first‐year, 15 second‐ year and 8 fourth‐year bibliographies were  collected and analysed.  (Third‐year  chemical engineering students were not  required to do project reports.)   The authors  examined each bibliography and tallied the  cited references.  The results were entered in  an Excel spreadsheet to identify:     • the number of items cited in each  bibliography and the total number  cited for each class;    • the number of information sources  used and the relationship between  project titles and information  sources used; and     • the correct use of citation style (e.g.,  Harvard or Vancouver).      For information sources used, the authors  examined the variety of sources and the  total number of items used from each source.   To determine the correct use of citation style,  the authors examined the layout of the  bibliography and evaluated the accuracy of  citation format, including the presence of  appropriate parts of the citations,  consistency of citation style, capitalisation,  italics, and punctuation.    Statistical analysis involved the use of a two  tailed t‐test to show the degree of  significance in a comparison of the three  groups to see if there were any patterns,  both in terms of using information sources  and in citing them.    Results     The research identified three categories of  results: the total number of items cited; the  number of information sources used, and  the relationship between project titles and  the type of information sources used. Evidence Based Library and Information Practice 2006, 1:2  16     Table 1: Number of Items in First‐Year, Second‐Year and Fourth‐Year Student Bibliographies      Total number of items cited    There was a clear pattern that higher year  students cited more items in total than lower  year students with first years citing an  average number of 17.6 items per  bibliography and fourth year students citing  an average of 77.1 (Table 1).    A detailed examination of the references  showed that 4 first‐year bibliographies  contained less than 5 items; 84 contained  between 5 and 20 references; 38 contained  between 21 and 40 references; 8 contained  between 41 and 60 items; and there were  none containing more than 60 items.  In  contrast, there were no fourth‐year students  with less than 5 items in their bibliographies,  and there were 4 with more than 60 items  (Table 2).        Number of information sources used    Five types of information sources were  examined: Web sites, journal articles, books,  personal communications and lecture notes,  and other specialised information such as  standards, patents, and theses.  References  to each type of source were tabulated for  each class, and percentages were calculated.   A one‐tailed t‐test was also calculated to  document the significant differences  between the three groups of students’  bibliographies in terms of the sources used  by each group.      As students progress in years, they tend to  rely less on Web sites as information sources  (Table 3).  Use of books shows a reverse  trend: first‐ year students use books less  than students in upper level classes.  None  of the three groups showed an obvious  preference in the use of journal articles.         Table 2: Detailed Breakdown of Items in First‐Year, Second‐Year and Fourth‐Year Student Bibliographies    Bibliography Items  First‐Year  (n=134)  Second‐Year   (n=15)  Fourth‐Year  (n=8)  Total number of items  2356    312  615    Average (mean) number of  items in each bibliography    17.6  20.8  76.9      First‐Year  (n=134)  Second‐Year   (n=15)  Fourth‐Year  (n=8)     1 ‐ 4  4  0  0    5 ‐ 20  84  8  1  21 ‐ 40  38  6  1  41 ‐ 60  8  1  2    Total number of items in  each bibliography  60 ‐  0  0  4  Evidence Based Library and Information Practice 2006, 1:2  17   Table 3: Analysis of Information Sources Used in First‐Year, Second‐Year and Fourth‐Year Students’  Bibliographies      A two‐tailed t‐test showed there were  significant differences between three of the  student groups with regard to the number  of books used as resources for the project  bibliographies:    • first‐year and second‐year  students    • first‐year and fourth‐year  students  • second‐year and fourth‐year  students    There was also a significant difference  between second‐ and fourth‐year and  between first‐ and fourth‐year student  groups in relation to the total number of  items cited in the project bibliographies  (Table 4).     Table 4: Mean Number of Items Cited in First‐Year, Second‐Year and Fourth‐Year Student Bibliographies   Information Sources  First‐Year  (n=134)  Second‐Year  (n=15)  Fourth‐Year  (n=8)    #  %  #  %  #  %  Web sites  1582  67.1  173  55.5  141  22.9  Books    536  22.7  102  32.7  363  58.8  Journals    194    8.2    22    7.1    71  11.5  Personal communications and  lecture notes      14    0.6      4    1.3      2    0.3  Other specialized information  (e.g., patents, CDs, theses,  standards)      30    1.3     11    3.5    38    6.2  Total   2356     312     615    Information Sources  First‐Year   Second‐Year  Fourth‐Year  Significance  Web sites  11.8  11.5  17.6    Books  4.0   6.8  45.5  a, b, c  Journals  1.4   0.3    8.9    Personal communication  and lecture notes  0.1     0.29      0.25    Other specialized  information (e.g., patents,  CDs, theses, standards)  0.2   0.7    4.5    Total  17.6  20.8  77.5  b, c    a =  significant difference between first‐ and second‐year P<0.05  b =  significant difference between second‐ and fourth‐year P<0.05  c =  significant difference between first‐  and fourth‐year P<0.05  Evidence Based Library and Information Practice 2006, 1:2  18   Table 5: Relationship Between Project Topics and First‐Year Students’ Bibliographies   Note: Numbers below grey line are per cents (%)    First‐year students did not use many  textbooks.  Second‐year students used  encyclopaedias and handbooks extensively,  and most of them cited the three core  encyclopaedias recommended by the  lecturer.    Relationship between project titles and the type  of information sources used    The relationship between project titles and  information sources was examined for the   first‐year students, because the project  topics for that class dealt with a wide range  of engineering issues.  For example, Project  1 involved detailed mechanical design  processes in a very specific field, whereas  Project 3 required students to consider many  social, economic, and financial issues while     evaluating solutions to traffic problems.   The authors assumed, therefore, that  different types of information sources  would be used for different projects.  The  students received few recommendations for  information resources from their lecturers.    Results shown in Table 5 confirm that  students used fewer Web sites for Project 1  (27.5% of the total items in their  bibliographies), compared to students  completing Project 3 (80.2% of the total  items in their bibliographies).  Project 1  students used more books (67.5%) than  students completing Project 3 (2.9%).   Project 1 students used more books than any  other group.   Project    1  (n=19)  2  (n=23)  3  (n=17)  4  (n=18)  5  (n=22)  6  (n=11)  7  (n=16)  8  (n=6)  Total no. of  items  120  470  379  460  360  246  195  92                    Web sites   27.5  59.8  80.2  77.6  70.0  77.2  50.3  50.0    Journals,  newspapers     4.2  10.4    7.7    8.0  10.0    3.3    8.2    4.3    Books   67.5  29.1    2.9  13.3  18.9  14.6  37.9  42.4    Personal  communication  and  lecture  notes   0  0    0.3  0.7  0    2.0    2.6  0    Other  specialized  information  (e.g., patents,  CDs, theses,  standards)     0.8    0.9    2.1  0  0    2.4    1.0    3.3  Evidence Based Library and Information Practice 2006, 1:2  19       Correct use of citation style    There was no apparent evidence that  second‐ and fourth‐year students performed  better than first‐year students in terms of  bibliography layout or accuracy of citations  (Table 6).  The fourth‐year students had the  lowest percentage scores on the assessment  of their use of appropriate parts of citations.    Discussion and Implications     Analysis of the bibliographies showed  students in all years were able to find a  variety of relevant information.  They were  not so successful in citing the information.    The analysis showed second‐year and  fourth‐year students tended to use Web sites  less and books and journal articles more  than first‐year students.  Both second‐ and  fourth‐year students used core chemical  engineering materials, such as  encyclopaedias handbooks, and prescribed  textbooks, because their project topics were  all on process design in chemical  engineering.  This corresponds with the  findings of Majid and Tan who found that  books and the Internet are undergraduate  students’ favourite sources (318). It also  supports Tenopir’s findings that engineers  read fewer journal articles (157).    Citation    Analysis  First‐Year (n=134)  Second‐Year  (n=15)  Fourth‐Year (n=8)      #  %  #  %  #  %  Layout of  bibliography  List not divided by  reference type    118  88.1  14  93.3  7  87.5    List in alphabetic order  82  61.2  N/A  N/A  N/A  N/A    List not numbered or  bulleted    104  77.6  N/A  N/A  N/A  N/A  Accuracy of  citation  Presence of  appropriate parts of  citation    109  81.3  13  86.7  5  62.5    Consistent use of a  citation style    107  79.9  14  93.3  6  75    Capitalisation  22  16.4  N/A  N/A  N/A  N/A    Italics  80  59.7  N/A  N/A  N/A  N/A    Punctuation  87  64.9  N/A  N/A  N/A  N/A    Table 6: Citation Style Analysis of First‐Year, Second‐Year and Fourth‐Year Students’ Bibliographies  Note: N/A ‐ students in second‐ and fourth‐year did not receive a recommended style, so these analyses  were not always relevant.  Evidence Based Library and Information Practice 2006, 1:2  20 First‐year students, on the other hand, have  not yet specialised in a particular subject  area, and their project topics are more  general.  The purpose of the students’  research projects was to give them an  opportunity to learn about the engineering  profession.  There were few required  readings from lecturers.  Since these  students had recently graduated from high  school and were not aware of the core  resources for university courses, it is likely  that they turned to the Internet for  information.  However, there were a few  projects for which the lecturers thought Web  sites provided the best sources for  information.  In these cases, the focus of  information skills teaching could be about  ways to evaluate Internet information, how  to cite the information in the text, and how  to reference information in the bibliography.      The comparison between types of  information sources used by students  showed that all year levels tend to use ‘basic  reference types’ ‐ such as books, journal  articles, and the Internet ‐ more than  specialised information sources such as  standards, theses, and patents.  This  supports Palmer and Tucker’s findings that  students are familiar with basic types of  information sources such as books, journals,  and Internet Web sites, but they are not  familiar with more complex resources.  As  suggested by Palmer and Tucker, our  information skills teaching should focus  more on those complex reference types for  upper level students.    We observed that some students, especially  first‐year students, could not differentiate  between a journal and a journal article, and  they did not understand why they needed  journal articles.  This knowledge will help  us redesign our information skills  workshops for first‐year students, to include  more explanation of the content and value  of books, journal articles, and Web sites.      There was clear evidence that all year  groups had problems in citing information  accurately.  This was consistent with  Kendall’s findings (131).  One common  citation error among all year groups’  bibliographies in this study was  inconsistency in listing author names.  There  were missing parts in author names and in  some instances surname and first name  were not in the right order.  Students at all  year levels also had difficulties citing  personal communications and specialised  documents. It seemed that they had trouble  deciding what information should be  included in the citation and what could be  omitted.      Many first‐year students received low  marks for the accuracy of their citations  (Table 6 ).  Only 3% achieved full marks for  citation accuracy, while 44% achieved full  marks in citation layout.   The central  problem we observed from the fourth‐year  students’ project bibliographies was  inconsistency.  The fourth‐year design  project report consisted of three volumes,  and each volume was authored by a  different student from the group.  Each  submitted a list of references which often  followed different citation styles.   Inconsistency within a bibliography  included different layout, different citation  styles, and sometimes repeated references.      In order to address the citation accuracy  problems mentioned above, exercises to  help students recognise different parts of a  citation and to familiarise them with  different citation styles should be designed  and included in information skills  workshops.  Librarians also need to work  with students to better understand the  dynamics of student groups and in finding  the person in their group best suited to  having overall responsibility for producing  the bibliography.    Evidence Based Library and Information Practice 2006, 1:2  21 The most important finding of this study is  that citing information was clearly a  weakness for all student groups in this  project.  At all year levels, more time should  be spent on teaching students how to cite  information accurately.  The importance of  correctly citing information should be  explained and stressed in all information  skills training.      Academic staff also expressed concern that  the in‐text citations at all year levels did not  always match the bibliographies.  This  aspect needs to be examined more closely.   Future information skills training may need  to incorporate in‐text citing for students at  all levels.    The findings indicate that systematic  planning of information skills teaching and  training should be conducted, and learning  outcomes need to be revisited for all levels  of students.  With first‐year students, we  need to concentrate on the basics and build  on this progressively in later years.  For  example, with the first‐year students we  should emphasise finding, interpreting, and  citing books, journal articles, and Web sites.   For second‐year students, the emphasis  would be on chapters of books and  encyclopaedias.  Personal communications  and specialised publications such as  conference papers, patents, and standards  would be covered in the fourth‐year.  In  later years, to help produce the bibliography  in the correct citation style, reference  management software such as EndNote  could also be introduced.      Conclusion    This study showed that there was a clear  difference in citation frequency between  upper and lower level engineering students.  Upper level students cited more total items  in their bibliographies than did first‐year  students.  Regarding the variety of items  cited, second‐ and fourth‐year engineering  students cited more books and journal  articles than first‐year students, but websites  were still used extensively by students in all  years.   Some evidence showed that for a  few first‐year design project topics, students  used more Internet sources than other  sources of information.  Librarians and  department faculty members need to select  good quality Internet resources to include in  information skills teaching and training.    Students in each group had difficulties  citing personal communication and other  specialised information sources.  They also  had various problems in consistency of  citation style and inclusion of parts of  citations such as author names.  These  findings indicate that different strategies in  information skills teaching and training are  needed.  The emphasis needs to change  from merely finding information to finding,  interpreting, and citing it accurately.   Systematic planning is needed to gradually  build on students’ information skills  portfolios.      Acknowledgement  A version of this paper was presented at the  3rd International Evidence Based  Librarianship Conference held in Brisbane,  Australia (October 2005).  See:  http://conferences.alia.org.au/ebl2005/Yu.pD f    Works Cited    Eldredge, Jonathan D. ʺEvidence‐Based  Librarianship: An Overview.ʺ Bulletin of  the Medical Library Association 88.4  (2000): 289‐302. 28 May 2006  .    Fidel, Raya, and Maurice Green. ʺThe Many  Faces of Accessibility: Engineersʹ  Perception of Information Sources.ʺ  http://conferences.alia.org.au/ebl2005/Yu.pD http://www.pubmedcentral.gov/article Evidence Based Library and Information Practice 2006, 1:2  22 Information Processing & Management  40.3 (2004): 563‐81.    Kendall, Margaret. ʺTackling Student  Referencing Errors through an Online  Tutorial.ʺ Aslib Proceedings: New  Information Perspectives 57.2 (2005):  131‐45.    Kraus, Joseph R. ʺCitation Patterns of  Advanced Undergraduate Students in  Biology, 2000‐2002.ʺ Science and  Technology Libraries 22.3/4 (2002): 161‐ 79.    Majid, Shaheen, and Ai Tee Tan. ʺUsage of  Information Resources by Computer  Engineering Students: A Case Study of  Nanyang Technological University,  Singapore.ʺ Online Information Review  26.5 (2002): 318‐25.    Palmer, Stuart, and Barry Tucker. ʺPlanning,  Delivery and Evaluation of Information  Literacy Training for Engineering and  Technology Students.ʺ Australian  Academic and Research Libraries 35.1  (2004): 16‐35. 28 May 2006  .    Tenopir, Carol, and Donald W. King.  Communication Patterns of Engineers.  Hoboken, NJ: IEEE Press; Wiley  Interscience, 2004.      http://alia.org.au/publishing/aarl/35.1/f