Microsoft Word - ART_Charbonneau.doc Evidence Based Library and Information Practice 2007, 2:4  46 Evidence Based Library and Information Practice     Article    Demystifying Survey Research: Practical Suggestions for Effective Question Design      Deborah H. Charbonneau  Coordinator for Information Access and Delivery and Principal Investigator, Urban Health  Partners  Vera P. Shiffman Medical Library  Wayne State University  Detroit, Michigan, USA  Email: dcharbon@med.wayne.edu       Received: 20 July 2007    Accepted: 12 November 2007      © 2007 Charbonneau. This is an Open Access article distributed under the terms of the Creative Commons  Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.    Abstract    Objective ‐ Recent research has yielded several studies helpful for understanding the use of  the survey technique in various library environments. Despite this, there has been limited  discussion to guide library practitioners preparing survey questions. The aim of this article  is to provide practical suggestions for effective questions when designing written surveys.    Methods ‐ Advice and important considerations to help guide the process of developing  survey questions are drawn from a review of the literature and personal experience.    Results ‐ Basic techniques can be incorporated to improve survey questions, such as  choosing appropriate question forms and incorporating the use of scales. Attention should  be paid to the flow and ordering of the survey questions. Careful wording choices can also  help construct clear, simple questions.    Conclusion ‐ A well‐designed survey questionnaire can be a valuable source of data. By  following some basic guidelines when constructing written survey questions, library and  information professionals can have useful data collection instruments at their disposal.           mailto:dcharbon@med.wayne.edu http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:4  47 Introduction  Survey research is often undertaken for a  number of reasons. Simply put, the survey is  a “type of research in which a sample of  individuals is asked to respond to  questions” (Case 190). Library surveys may  attempt to obtain input on awareness of  library services, ease of access, quality and  relevance of services, effectiveness of  outreach efforts, and reasons why services  or resources are not being used (Bertot and  Davis; Plosker). According to Novotny,  examples of survey research include “a  questionnaire distributed after a library  instruction session; a user satisfaction form  given to every person entering the library; a  telephone survey of a random sample of city  residents; and a small group interview with  some students about the library’s policies”  (20). The survey approach can also reveal  service issues and opportunities, identify  unmet needs, and obtain input for strategic  planning.     In survey research, questionnaires are often  used as “the primary data‐collection  instruments” (Busha and Harter 61). As  such, survey questionnaires can be designed  to assess the needs of both current and  potential customers (Plosker 65). Thus,  survey questions can explore issues of  satisfaction with current services, perceived  needs for other kinds of information, other  outside sources of information that are used,  how libraries can provide better service, and  the perceived role of the library.     The survey process begins by determining  what topics or areas of interest would  benefit from surveying. For example,  gauging user reaction to a new service or  evaluating the effectiveness of an outreach  program. While some surveys (e.g.  nationally conducted surveys) sometimes  cover a broad range of topics, one strategy is  to limit an inquiry to a narrowly defined  issue which will allow for an appreciation of  a single topic’s complexity. Thus,  identifying the survey’s specific purpose  and considering how the data acquired from  the survey will be used are important  considerations. After understanding fully  the survey’s purpose, what information is  needed, and how that information will be  used, then the types of survey questions to  be asked will be determined (Fink 8).     The survey approach encompasses a variety  of methods of data collection and the  manner in which answers to research  questions are obtained must also be taken  into account. For instance, surveys can be  conducted over the telephone (Plosker 66).  Surveys may also be administered by an  interviewer in face‐to‐face encounters, such  as interviewing individuals in person or  interviewing people together in small  groups. With self‐administered questionnaires,  questions are administered in writing and  respondents are asked to complete the  questionnaire themselves. A common form  of self‐administered questionnaire is the  mail survey (Babbie 266). There is increasing  and widespread use of electronic versions of  questionnaires, such as email or Web‐based  surveys.  Fink highlights some of the  similarities and differences between online  surveys and other self‐administered  questionnaires, such as traditional paper‐ and‐pencil surveys. Useful summaries of  web‐based surveys also help identify many  considerations associated with web‐based  surveys, such as time and cost, response  rates, and follow‐up procedures (Gunn;  Franklin and Plum; and Hayslett and  Wildemuth).  Thinking about data collection  methods when designing the questionnaire  is important because issues, such as having  adequate resources and available expertise  for analyzing and interpreting them, are  important considerations to be addressed  before the questionnaire is distributed.    As noted, a survey “is a method of collecting  information directly from individuals”  (Novotny 19). A common element of  Evidence Based Library and Information Practice 2007, 2:4  48 surveys is observations or measurements  (Line 13; Powell and Connaway 84). Walden  describes a range of sources in survey  research methodology to serve both the  novice and the expert.  Powell and  Lorenzetti assist with the identification of  study designs suitable for library research.  Gothberg, Novotny, and Powell and  Connaway offer helpful discussions on the  various types of survey studies in library  and information science research, including  issues of sampling, data collection, and data  analysis.     Numerous studies in librarianship have  “relied upon the survey approach” (Busha  and Harter 88). A review of the recent  library and information science literature  has yielded several, mostly descriptive,  studies about how the survey technique has  been deployed in various library  environments (for example, see: Chen and  Chen; Franklin and Plum; Perkins and Yuan;  Shenton and Johnson; Tennant et al.; Walter).  Major themes in the literature concentrate  on the information‐seeking behavior of  users or evaluating a specific library service  or program. While much of the existing  research is useful for understanding the use  of surveys in general, there has been limited  discussion in the library and information  science literature on the process of  constructing effective survey questions  suitable for library research (Janes; Jerabek  and McCain; Novotny). As a result, further  guidance to assist library practitioners  preparing written survey questions is  warranted and will be addressed in this  article.    When well‐constructed and implemented  effectively, survey questionnaires can be  useful data collection tools. There are  several key steps in constructing a well‐ designed survey questionnaire. A survey  questionnaire is “an instrument specifically  designed to elicit information that will be  useful for analysis” (Babbie 253). As such,  Peterson states “questionnaire construction  is one of the most delicate and critical  research activities” (13). The aim of this  article is to provide practical suggestions  and advice useful to library practitioners  trying to craft their own survey questions.  Table 1 highlights some of the commonly  seen problems with survey questions that  this article seeks to address.   Recommendations are drawn from several  sources, including the works of Babbie,  Converse and Presser, Fowler, Janes, Plosker,  and personal experience (for example, see:  Charbonneau et al). It is not intended to be  an exhaustive list, but rather a set of guiding  recommendations for constructing survey  questions gleaned from a selective review of  the literature. This includes choosing  appropriate question forms, techniques for  measuring attitudes, strategies for helping  respondents recall past activities and the  importance of pretesting.     • Negative wording or leading statements  • Double‐barreled (single question has multiple parts)  • Use of jargon, vague, or confusing language  • Not specific for recall of past activities (need to narrow the reference period)  • Agree‐disagree statement does not fully capture range of intensity (try using scales)    Table 1. Common Problems with Survey Questions        Evidence Based Library and Information Practice 2007, 2:4  49 Suggestions and Considerations    Use Simple Language and Avoid Jargon     In general, survey questions should observe  several guidelines. Researchers have  emphasized the need for “simplicity,  intelligibility, and clarity” when crafting  survey questions (Converse and Presser 10).  As Janes notes, “people will answer the  question you ask them, not necessarily the  question you wanted to ask them” (322).  Thus, the wording of survey questions is  critical. In fact, the wording of questions can  influence the way in which people respond.  Using simple and clear language should not  be underestimated in survey research.  McMain and Jerabek suggest avoiding  jargon, such as scientific terms, library, or  vendor‐specific terminology, and instead  using everyday language whenever possible.  When appropriate, definitions or  explanations of terms should be provided.  This is in agreement with several other  studies that found that the use of library  jargon and terminology can be problematic  for users (for example, see: Chaudhry and  Choo; Cobus et al.; Hutcherson; McGillis  and Toms).  Therefore, it is important to be  cognizant of the terms that users prefer, or  those that users are more likely to be  familiar with, and to construct questions  accordingly. Respondents should be able to  “read an item quickly, understand its intent,  and select or provide an answer without  difficulty” (Babbie 258).    Asking specific, rather than general  questions, is typically a good rule to follow.  Questions should be “precise so that the  respondent knows exactly what the  researcher is asking” (Babbie 255). Moreover,  if respondents are being asked to select the  one best answer from among the options  that are provided, then this should be  clearly stated in the instructions. Using  negative language or leading statements  should be avoided because the appearance  of such language in a questionnaire can lead  to unnecessary confusion or  misinterpretation. For example, words such  as control, restrict, or oppose convey negative  meanings and should be avoided (Converse  and Presser 14). The following question is a  classic example of a leading statement: “Do  you own a library card?” (Fowler 36).  According to Fowler, “when a question is  phrased like this, there is a tendency for  respondents to think that the researcher  expects a “yes” answer” (36). Therefore, one  possible alternative may be: “Many people  get books from libraries. Others buy their  books, subscribe to magazines, or get their  reading materials some other way. Do you  have a library card now, or not?” (Fowler  36). This wording provides some legitimacy  and some reasons why the “no” response is  acceptable. Other examples of negative  wording and leading statements include  questions beginning with “Are you aware  that” and “Do you agree.”    Open‐ended vs. Close‐ended Questions    Choosing to incorporate open‐ended  questions, close‐ended questions, or a  combination of both question forms is also  an important consideration.  In general,  close‐ended questions are easy to tabulate  and analyze because respondents must  chose from among the offered alternatives.  In the case of closed‐ended questions, the  “respondent is asked to select an answer  from among a list provided by the  researcher” (Babbie 254). Limiting the  number of responses available “ensures that  everyone is using the same terminology”  (Novotny 35). As such, closed‐ended  questions may also be referred to as forced‐ questions (Bertot and Davis 59). For example,  close‐ended questions can be constructed as  “yes, no, uncertain” or “multiple choice.”  When designing a close‐ended question, it is  important to consider all of the possible  responses and to address these in your  question so that respondents know what  Evidence Based Library and Information Practice 2007, 2:4  50 information to provide (Novotny 39).  Questions about occupation, education level,  gender, age, and other demographic  characteristics are commonly constructed as  close‐ended questions. Other examples of  close‐ended questions include:    • Did you find the workshop helpful? (yes  or no)  • Would you recommend this [workshop  or library service] to a co‐worker? (yes  or no)  • Would you like the library to offer a  one‐hour workshop on [topic or  resource]? (yes or no)    Open‐ended questions are another option  available to consider when creating  questions. Open‐ended questions are “essay  types that allow the user to express more in‐ depth input as well as allow for opinions  and views” (Plosker 67). Basically, open‐ ended questions are when “the respondent  is asked to provide his or her own answer to  the question” (Babbie 254). As such, open‐ ended questions can elicit responses from  the respondents in their own words.   Examples of open‐ended questions include:    • What other services would you like to  see us offer?  • What suggestions would you make to  improve the [library service]?   • What do you like most about the  [library service] currently provided?   • What did you find helpful about the  workshop?  • What services were you looking for  today that were not found on the  [Library’s] Web site?  • What was your reason for using the  [Library or library service] today?    Thus, open‐ended questions can be utilized  to gain a richer understanding from the  users’ perspectives. Furthermore, the use of  probes, such as asking for an example or if  there is anything else that respondents  would like to add to their answer, is another  useful approach to elicit added input  (Converse and Presser 43).  Probe questions  are most frequently used to follow‐up  answers to prior open‐ended questions  (Peterson 31).    In addition, open‐ended questions are  particularly useful when not all of the  possible responses can be identified when  constructing response options. Converse  and Presser state “when not enough is  known to write appropriate response  categories, open questions are to be  preferred” (34). However, it is also  recommended that “no more than 10  percent of total survey questions be open‐ ended” (Plosker 67). This is due in part  because of the effort required on behalf of  the researcher to process and analyze such  narrative responses to open‐ended questions.  As Fowler notes “answers in narrative form  produce data that researchers sometimes  find difficult to work with” (178). In  particular, answers must be coded; someone  must read the complexity of the answers  and put them into meaningful categories for  analysis which is a different process from  when respondents answer in a more  structured way. This recommendation for  the use of open‐ended questions is also due  in part because open‐ended questions  require more time on behalf of the  respondents to answer and may add  significantly to the survey time. It is  important to keep in mind that “survey  research involves an imposition on those  surveyed” (Hernon 83). Therefore, a  concerted effort to ensure that respondents  are not overwhelmed or experience survey  fatigue is imperative.     Multiple Questions on a Topic    Some items warrant more than one question  for investigation. By asking similar  questions a number of times, any “distorting  effects that may occur as a result of the  Evidence Based Library and Information Practice 2007, 2:4  51 respondent misinterpreting a single  question” can be reduced (Novotny 35).  Therefore, another recommendation is to  ask about an item in several different ways.  As a general strategy, one can “look for  questions that cast light at different angles”  (Converse and Presser 47). This can be  accomplished using composite measures that  typically involve the measurement of an  attitude or behavior in which several items  are devised to help measure a single concept  (Babbie 156). For example, crafting  questions regarding usage of digital  reference services and other electronic  resources can be combined to create a  composite of online user behavior (Bejune  and Kinkus 188). Line also notes “much  greater precision and objectivity can be  obtained by employing several questions on  the same matter” (63). As such, using  multiple measures can help to reveal the  complexity of attitude about an issue.  Multiple questions that seek to explore  satisfaction may include: “how satisfied are  you with todayʹs visit to our building,”  “how satisfied are you with todayʹs visit to  our web site,” and “how helpful was the  library staff today in answering your  question.” Thus, such composite measures  provide a richer context of inquiry.     Incorporating Scales     Surveys are “excellent vehicles for  measuring attitudes” (Babbie 252). In fact,  one of the most popular ways that attitude  is measured are agree‐disagree statements;  however, this form has come under scrutiny  for not offering a range of possible options  for respondents (Converse and Presser 38).  Consequently, one recommendation is to  incorporate the use of scales, which is a type  of composite measure “composed of several  items that have a logical structure among  them” (Babbie 157). As such, scales offer the  advantage of moving beyond simple agree‐ disagree statements and are useful for  assessing “a dimension of attitudinal  position, with intensity, and how strongly a  position is felt” (Converse and Presser 38).     The Likert scale is a commonly used format.  Likert items are those using such response  categories as “strongly agree, agree,  disagree, and strongly disagree” (Babbie  174).  Somewhat similar to the Likert format,  the semantic differential format asks  respondents to choose between two  dichotomous positions. However, the  semantic differential rating scale is  represented as a “seven‐point scale labeled  at either end by opposing positions”  (Converse and Presser 37). Respondents are  asked to rate something in terms of two,  opposite adjectives (slight through extreme;  i.e. good‐bad) and the various points on the  scale bridge the distance between the two  opposites (Babbie 175). For example, a  semantic differential rating scale can be  used to measure satisfaction. (See Table 2).  A semantic information measure is based on  the “assumption that the more content  elements implied by a statement, the more  information it provides” (Tague‐Sutcliffe 70).  Over the years, several Likert‐type scales  and several variations of the semantic  Very important  1  2  3  4  5  6  7  Not important  Very helpful  1  2  3  4  5  6  7  Not helpful  Excellent  1  2  3  4  5  6  7  Seriously inadequate  Friendly  1  2  3  4  5  6  7  Unfriendly  Polite  1  2  3  4  5  6  7  Rude    Table 2. Examples of Semantic Differential Scales  Evidence Based Library and Information Practice 2007, 2:4  52   differential rating scale have been offered  (Peterson 75). Nonetheless, both the Likert  and semantic differential scales attempt to  improve the levels of measurement through  the use of “standardized response categories  in survey questionnaires to determine the  relative intensity of different items” (Babbie  174).  Narrowing the Reference Period     Other strategies are appropriate for when  respondents are being asked to recall past  events and activities. One useful strategy is  called narrowing the reference period  (Converse & Presser 21). This technique  provides a common frame of reference and  enhances the validity of the reporting of the  past. In fact, it may be helpful to reduce the  reference period to the immediate past. For  example, respondents can be asked to  indicate how often they used a specific  library service or resource within the last  week, over the past weekend, or yesterday.  Likewise, the critical incident technique is a  method that has been used in library use  studies (for example, see: Andrews; Bush et  al.; Siegel et al.; Urquhart et al.).  In such  cases, individuals were asked to report on  actual instances “which contributed  significantly to the activity or behavior  under investigation” (Line 51). For instance,  asking respondents about incidents in which  searches using a specific database were  either effective or ineffective is an example  of using the critical incident technique.  Furthermore, using landmarks is another  useful technique to anchor the timing of  events (Converse and Presser 22). For  example, survey questions inquiring about  information behaviors or utilization of  services since the start of the new calendar  year or the start of a semester may prove  fruitful.         Other Considerations     Double‐barreled questions are a common  problem and can be easily avoided. A  double‐barreled question is when a “researcher  asks respondents for a single answer to a  question that actually has multiple parts”  (Babbie 255). For instance, consider the  following survey question: “Please indicate  which types of information you need to support  your teaching and research.” A good rule to  follow is whenever the word and appears in  a question, check whether the question is  asking multiple items (Babbie 255). A better  way to phrase the question is to re‐write the  question as two separate questions: “Please  indicate which types of information you need to  support your teaching” and “Please indicate  which types of information you need to support  your research.” A list of response categories  for respondents to select from should follow  each question.  Additional examples of  multiple statements commonly seen in  surveys include:    • The library staff is readily available,  courteous, professional, and inviting.  • Study space in the library is readily  available, quiet, and conducive to study.  • The library communicates information  about hours, services, and resources  adequately.  • The library delivers articles and books  requested through InterLibrary Loan in  a reasonable timeframe.  • The library’s web site is informative and  up‐to‐date.  • The library has sufficient evening and  weekend hours of service.    Each of the above statements is asking about  multiple items. As such, the statements  should be closely examined and re‐written.  For instance, the statement: “The library has  sufficient evening and weekend hours of service”  can be improved when revised as two  separate statements: “The library has sufficient  Evidence Based Library and Information Practice 2007, 2:4  53 evening hours of service” and “The library has  sufficient weekend hours of service.”    Once the survey questions are crafted,  layout and design issues relating to the  construction of the questionnaire itself  should be addressed. The questionnaire  format should “maximize white space in the  form,” be uncluttered, and pleasing to the  eye (Janes 324). It is also customary to  include a “cover letter stating the purpose of  the research and providing an explanation  of the importance of providing a response”  (Losee and Worley 145).    Importance of Pretesting    Pretesting (or piloting) a survey  questionnaire is always recommended  (Converse and Presser 51). A pretest is a  “kind of dress rehearsal” done for  clarification and refinement (Spaeth 71).  Bertot and Davis state that “the library  needs to engage in a survey design process  that includes pre‐tests of both the survey  questions and forms (be they electronic or  print)” (59).  Respondents are “sensitive to  the context in which a question is asked”  (Converse and Presser 39). Thus, pretesting  survey questions will help elucidate  whether the instructions were clear and  whether or not the questions provided  answers to the questions as posed “in the  sense of producing meaningful information”  (Peterson 46).    Pretesting also assists in identifying  question problems and practical aspects of  the questionnaire itself; such as making sure  the questions are clear and the questionnaire  is reasonably easy to complete (Fowler 132).  Pretests can be instrumental in helping to  catch problems of poor ordering or  confusing wording; especially if the survey  is tested in face‐to‐face encounters. When  surveys are pretested in situations where  body language and nonverbal cues can be  observed, important insight can be gleaned  to refine the survey questions and overall  questionnaire format (Janes).      Peterson states “all aspects of a  questionnaire’s structure, from question  sequencing to appearance [and] individual  question wording and format, should be  assessed” to determine any potential  problems (115).  In addition, Novotny  suggests that unexpected responses may  indicate a problem “with the question’s  wording, or the set of options provided”  (42). Additional problems to look for when  pretesting include “respondents skipping  questions, selecting more than one answer  to the same question, [and] making notes in  the margins” which are all indications that  the survey instrument is unclear in some  way (Novotny 42).  Furthermore, pretesting  the questionnaire and looking at the  consistency of the responses to the questions  helps to demonstrate the reliability of the  questionnaire and may highlight potential  problems with data collection and analysis.  Lee provides a useful overview of reliability  and validity issues that researchers should  be aware of when conducting survey  research in libraries.    Conclusion  In summary, a well‐designed survey  questionnaire can be a valuable source of  data and as such surveys are popular in  library research. Chauvel and Despres argue  that the survey technique “brings an issue  into focus by defining and detailing its  various characteristics” and allows library  practitioners to respond in a relatively quick  manner (208). Drawing from the existing  literature, a number of useful techniques to  improve survey questions emerge. For  instance, the use of different types of  questions or specific rating scales (i.e. Likert  scale or semantic differential scale) can be  used to measure the degree and intensity of  the respondents’ attitudes. Careful wording  choices can also help construct clear and  easy‐to‐understand questions. Furthermore,  Evidence Based Library and Information Practice 2007, 2:4  54 an effort should be made to ensure that only  one question for each item is being asked  and that negative words are not being used  to bias responses. In conclusion,  constructing carefully written questions and  a well‐designed survey questionnaire can  help illuminate the needs and desires of  both current and potential library clientele,  shape or reshape services, or guide strategic  planning decisions.       Works Cited    Andrews, J. ʺThe Use of Critical Incident  Research Technique in an Academic  Library.ʺ Library and Information  Research News 14.50 (1991): 22‐7.  Babbie, E. The Basics of Social  Research. 3rd ed. Belmont, CA:  Wadsworth Publishing, 2005.     Bejune, M., and J. Kinkus “Developing   Composite of User Behavior to Inform  Decisions about New and Existing  Library Services.” Reference Services  Review 34.2 (2006): 185‐92.    Bertot, J.C., and D.M. Davis. Planning and  Evaluating Library Networked Services  and Resources. Westport, CT: Libraries  Unlimited, 2004.    Bush, A, D.W. King, and C. Tenopir.  ʺMedical Facultyʹs Use of Print and  Electronic Journals: Changes Over  Time and in Comparison with  Scientists.ʺ Journal of the Medical  Library Association 92.2 (2004): 233‐41.     Busha, C.H., and S.P. Harter. Research  Methods in Librarianship: Techniques  and Interpretation. New York, NY:  Academic Press, 1980.    Case, D.O. Looking for Information: A  Survey of Research on Information  Seeking, Needs, and Behavior. San  Diego, CA: Academic Press, 2002.    Charbonneau, D.H., E.B. Marks, A.M.  Healy, and C.F. Croatt‐Moore.  “Collaboration Addresses Information  and Education Needs of an Urban  Public Health Workforce.” Journal of  the Medical Library Association 95.3  (2007): 252‐254.    Chaudhry, A. S., and M. Choo.  ʺUnderstanding of Library Jargon in  the Information Seeking Process.ʺ  Journal of Information Science 27.5  (2001): 343‐9.     Chauvel, D., and C. Despres. ʺA Review of  Survey Research in Knowledge  Management: 1997‐2001.ʺ Journal of  Knowledge Management 6.3 (2002):  207‐23.     Chen, C.W., and M.W. Chen. ʺA Study of  Service Quality on the Usersʹ  Satisfaction and Reused Intention: An  Example of an Academic Library.ʺ  Journal of Educational Media and  Library Sciences 44.1 (2006): 61‐82.     Cobus, L., V.F. Dent, and A. Ondrusek.  ʺHow Twenty‐Eight Users Helped  Redesign an Academic Library Web  Site: A Usability Study.ʺ Reference &  User Services Quarterly 44.3 (2005):  232‐46.     Converse, J.M., and S. Presser. Survey  Questions: Handcrafting the  Standardized  Questionnaire.   Thousand Oaks, CA: Sage, 1986. Fink,  A. How to Ask Survey Questions.  Thousand Oaks: Sage Publications,  2003.    Fowler, F.J. Improving Survey Questions:  Design and Evaluation. Thousand  Oaks: Sage Publications, 1995.   Evidence Based Library and Information Practice 2007, 2:4  55 Franklin, B., and T. Plum. “Successful Web  Survey Methodologies for Measuring  the Impact of Networked Electronic  Services (MINES for Libraries).” IFLA  Journal 32.1 (2006): 28‐40.    Gothberg, H.M. ʺThe Library Survey: A  Research Methodology Rediscovered.ʺ  College and Research Libraries 51.6  (1990): 553‐9.     Gunn, H. “Web‐Based Surveys: Changing  the Survey Process.” FirstMonday 7.12  (2002)    Hayslett, M.M., and Wildemuth, B.M.  “Pixels or Pencils? The Relative  Effectiveness of Web‐Based Versus  Paper Surveys.” Library & Information  Science Research 26 (2004): 73‐93.      Hernon, P. ʺSurvey Research: Time for Some  Changes.ʺ Journal of Academic  Librarianship 26.2 (2000): 83‐4.     Hutcherson, N.B. ʺLibrary Jargon: Student  Recognition of Terms and Concepts  Commonly Used by Librarians in the  Classroom.ʺ College and Research  Libraries 65.4 (2004): 349‐54.     Janes, J. ʺSurvey Research Design.ʺ Library  Hi Tech 19.4 (2001): 419‐21.     Jerabek, J.A., and L.M. McMain. ʺAssessing  Minds Want to Know: Developing  Questions for Assessment of Library  Services Supporting Off‐Campus  Learning Programs.ʺ Journal of Library  Administration 41.1/2 (2004): 303‐14.     Lee, D. ʺSurvey Research: Reliability and  Validity.ʺ Library Administration and  Management 18.4 (2004): 211‐2.     Line, M.B. Library Surveys: An Introduction  to the Use, Planning Procedure, and  Presentation of Surveys. 2nd ed.  London: Clive Bingley Ltd., 1982.     Lorenzetti, D. “Identifying Appropriate  Quantitative Study Designs for Library  Research.” Evidence Based Library and  Information Practice 2.1 (2007): 3‐14.     Losee, R.M., and K.A. Worley. Research and  Evaluation for Information  Professionals. San Diego, CA:  Academic Press, 1993.    McGillis, L., and E. G. Toms. ʺUsability of  the Academic Library Web Site:  Implications for Design.ʺ College and  Research Libraries 62.4 (2001): 355‐67.     Novotny, E. “Surveys and Questionnaires.”  Evaluating Reference Services a  Practical Guide. Ed. Jo Bell Whitlatch.  Chicago: American Library Association,  2000.    Perkins, G.H., and H. Yuan. “Genesis of a  Web‐Based Satisfaction Survey in an  Academic Library: The Western  Kentucky University Libraries’  Experience.” Library Administration &  Management 14.3 (2000): 159‐66.     Peterson, R.A. Constructing Effective  Questionnaires. Thousand Oaks, CA:  Sage Publications, 2000.    Plosker, G. R. ʺConducting User Surveys:  An Ongoing Information Imperative.ʺ  Online 26.5 (2002): 64‐8.     Powell, R.R. “Recent Trends in Research: A  Methodological Essay.” Library and   Information Science Research 21.1  (1999): 91–119.    Powell, R.R., and L.S. Connaway. Basic  Research Methods for Librarians.  Fourth Edition. Westport, CT: Libraries  Unlimited, 2004.  http://www.firstmonday.org/issues/issue7_12/gunn http://www.firstmonday.org/issues/issue7_12/gunn Evidence Based Library and Information Practice 2007, 2:4  56 Schlichter, D.J., and J.M. Pemberton. ʺThe  Emperorʹs New Clothes? Problems of  the User Survey as a Planning Tool in  Academic Libraries.ʺ College and  Research Libraries 53.3 (1992): 257‐65.     Shenton, A.K., and A. Johnson. ʺThe  Employment of Online Questionnaires  within User Studies Research in School  Libraries.ʺ Library and Information  Research 30.95 (2006): 25‐31.      Siegel, E R., et al. “Evaluating the Impact of  MEDLINE using the Critical Incident  Technique.” Proceedings of the Annual  Symposium on Computer Application  in Medical Care (1991): 83‐87.     Spaeth, J. L. ʺPerils and Pitfalls of Survey  Research.ʺ Proceedings of the Allerton  Park Institute, Robert Allerton Park,  Monticello. Illinois, 27‐29 Oct 91.  Illinois University at Urbana‐ Champaign, Graduate School of  Library and Information Science, 1992.     Tague‐Sutcliffe, J. Measuring Information:  An Information Services Perspective.  San Diego, CA: Academic Press, 1995.    Tennant, M.R., et al.. ʺEvaluation of a  Liaison Librarian Program: Client and  Liaison Perspectives.ʺ Journal of the  Medical Library Association 94.4  (2006): 402‐409.     Urquhart, C., et al. ʺCritical Incident  Technique and Explicitation  Interviewing in Studies of Information  Behavior.ʺ Library and Information  Science Research 25.1 (2003): 63‐88.     Walden, G. R. ʺSelected Reference Sources in  Polling and Survey Research  Methodology, 1971‐1996.ʺ Reference  Services Review 24.4 (1996): 49‐66.     Walter, S. ʺMoving Beyond Collections:  Academic Library Outreach to  Multicultural Student Centers.ʺ  Reference Services Review 33.4 (2005):  438‐58.