Microsoft Word - ART_Boock.doc Evidence Based Library and Information Practice 2007, 2:3  76 Evidence Based Library and Information Practice     Article    The Use of Value Engineering in the Evaluation and Selection of Digitization Projects      Michael H Boock  Assistant Professor  Head of Technical Services  Oregon State University Libraries  121 The Valley Library  Corvallis, OR 97331, USA  Email: Michael.Boock@oregonstate.edu    May Chau  Associate Professor  Agricultural Librarian  Oregon State University Libraries  121 The Valley Library  Corvallis, OR 97331, USA  Email: May.Chau@oregonstate.edu      Received:  6 April 2007        Accepted: 22 June 2007      © 2007 Boock and Chau. This is an Open Access article distributed under the terms of the Creative  Commons Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use,  distribution, and reproduction in any medium, provided the original work is properly cited.    Abstract    Objective ‐ The authors describe a simple and effective tool for selecting digitization  projects from competing alternatives, providing decision makers with objective,  quantitative data.    Methods ‐ The paper adopts the value engineering methodology for the selection,  evaluation and ranking of digitization project proposals. Project selection steps are  described. Selection criteria are developed. Digitization costs are presented as an equation.  Project value is determined by calculating projected performance of digital collections based  on the established criteria over cost.     Results ‐ Scenarios are presented that evaluate and rank projects based on an evaluation of  performance criteria and cost. The communication and use of rating criteria provides  mailto:Boock@oregonstate.edu mailto:Chau@oregonstate.edu http://creativecommons.org/licenses/by/2.0 Evidence Based Library and Information Practice 2007, 2:3  77 selectors with information about how proposed collections are evaluated. The transparency  of the process output is easily communicated to stakeholders.    Conclusion ‐ Value engineering methodology provides a tool and a process that gives  decision makers a set of objective, quantitative data upon which selection of digitization  projects is based. This approach simplifies the selection process, and creates transparency so  that all stakeholders are able to see how a decision was made.     Introduction and Background    Value Engineering (VE), sometimes referred  to as Value Methodology, provides business  and other organizations with a structured  methodology for evaluating product or  strategic options and a formula that can be  used to measure, rank and compare options.  The methodology is taught in project  management and industrial engineering  programs and used within Total Quality  Management (TQM) and business process  reengineering (Value Engineering). The  concept calls for several steps of project  planning such as information gathering,  determination of performance measurement,  analysis of other options (brainstorming),  ranking of ideas, and a comparison of  options. The key steps of quantitative  ranking and comparison of options is  accomplished through the development of  performance criteria measures, ranking  performance according to those established  measures and determining project costs.  Value is then defined according to the ratio  of Function or Performance over Cost  (Pearsall & Eng). This is mathematically  displayed as:    Value = Performance / Cost    Performance has a different meaning in  different contexts. In this article,  performance refers to the relative  significance of digitized information to  internal and external users, the uniqueness  of the digitized information and the relative  exposure that results. Costs include staffing,  copyright permissions and equipment  expenditures. Value increases as a result of  performance improvements or cost  decreases ‐ often accomplished through  elimination of wasteful or unnecessary  practices.     Measuring the ratio of performance to cost  results in a quantitative representation of  the estimated value of potential digitization  projects. Quantitative representation is  useful in a setting in which resources are  limited and there are competing collections  proposed for digitization. Using the  quantitative measures that result from the  calculation of the equation, each project’s  value is ranked and compared against  others. The highest‐ranking project has  higher priority over those ranked lower. The  communication of the results to interested  parties ensures that communication barriers  are decreased and the selection process is  more transparent. Hays finds that using  quantitative measures can increase  communication (Hays 125).     The effectiveness of applying the VE  methodology in academic libraries is  sparsely documented. Pershing and  Krutulis adopt the Mudge matrix VE model  (Mudge 174‐183) to determine salary equity  in academic libraries. They find that the  methodology “worked extremely well for  Indiana University even though it was not  designed for that particular use or  environment.” Bick and Sinha apply VE in  the evaluation of journals and find that it  provides an objective measure for  Evidence Based Library and Information Practice 2007, 2:3  78 identifying journal value in support of  subscription and cancellation decisions.     The methodology is also applied in  curriculum development and review and  provides “a formal way of closing the  feedback loops at all programmatic levels  from the course level to the objective level”  (Gershenson, Hailey, Batty and Phillips 140).  Other uses of VE are recorded in the health‐ care field. For example, Jakhanwal & Singh  describe the use of VE to justify the cost of  cataract surgery.    This article presents a stepped approach that  libraries can utilize when selecting projects  for digitization. It discusses the creation of  performance and cost criteria that can be  used to determine the overall value of  competing digitization projects. The model  provides transparency to the selection  process and more fluid communication  within libraries regarding the selection of  digitization projects. Example scenarios  illustrate the entire process from the  calculation of performance for sample  projects to the ranking of the sample  projects.     Steps in the Selection of Digitization  Projects    Selection steps are helpful for administrators  to consistently apply standards and select  appropriate groups of materials for cost‐ effective digitization. In VE, project  participants and decision‐makers engage in  a process that is broken into a structured  sequence of steps (Value Engineering).  Project selection steps, adapted from the  formal VE process, include:    A.  Examination and initial review of  information provided in digitization project  proposals. In order for the project proposal  to be effective, it must be accurate and  informative particularly in regard to the  criteria upon which it will be judged. Project  proposals must be a collective effort and  written in consultation with all stakeholders,  including subject experts. Proposals that  lack information may be sent back with  suggested improvements.     B.  Determination of digitization costs. The  project proposal must include a realistic  estimation of production costs. Cost  determination must be coordinated with  appropriate departments within the  institution to ensure accuracy.     C.  Measurement of expected performance.  The project proposal must demonstrate its  capability to reflect and support the  academic standards of the institution  according to teaching and research trends.  The performance should be in line with the  library’s collection development policies,  library, departmental and institutional  strategic plans and mission statements.  Performance and cost are the two factors  that determine the value of a digitization  project.    D.  Presentation of scenarios. Project  proposals should be compared with each  other using written scenarios that illustrate  the potential value of the projects.     E. Final measurement and ranking of  projects. Discussion of proposed projects  may precede measurement and ranking by  each member of the administrative team.  The persons who proposed the projects are  informed of the decision and given copies of  the measures and rankings.    Determination of Digitization Costs    In order to justify the expenditure of fiscal  and human resources on digitization  activities, many libraries engage in cost  analyses to determine how much it costs to  digitize materials. Libraries also determine  costs to enable more accurate customer  charging for digitization work. The  Evidence Based Library and Information Practice 2007, 2:3  79 Michigan University Library documented  the full range of digitization costs in “The  Making of America IV: The American Voice,  1850‐1877” project. They aggregated costs  into broad categories according to the steps  undertaken in the digitization process  (University of Michigan Digital Library  Services 8).    The British Library identified costs  associated with item digitization in terms of  a “life‐cycle model” that also identified the  outlay of all costs within the digitization  workflow” (Shenton 11). To determine the  total cost to complete the digitization of an  item or a collection of items, they proposed  the use of an equation that adds the cost of  specific tasks, from selection through  preservation.     This article further develops the cost  variables provided by the British Library by  considering additional tasks required within  the digitization workflow including the cost  of server space and obtaining copyright  permissions. Costs unique to  digitization  projects such as equipment that is not likely  to be used for anything other than the  particular project have also been added.     A sample of the project may be digitized to  determine the amount of time required to  complete the project. This also helps to  ensure that all aspects of the digitization,  including all of the preparatory work, is  accounted for and that the cost analysis is  accurate. Based on the sampling and time  estimates, total salaries and benefits for each  person with any responsibility for the  completion of the work can be considered  and accounted for. Other infrastructure  costs such as staff training, software or  equipment are not considered as project  costs because of their anticipated utility for  other projects. Adding all of the variables  together enables an institution to compute  the total cost of digitization and making a  collection available.   Cost of digitizing a collection of materials  and making the collection available is  expressed as follows:    C = sel + ipr + cop + cons + ret + cap + qc +  met + pres + web + mgt + stor + x    C  Total cost of digitizing a collection of  materials and making it available  online  sel  Selection  ipr  Checking of intellectual property  rights  cop  Obtaining copyright permissions  cons  Conservation check and remedial  conservation  ret  Retrieval, reshelving, debinding,  rebinding, material preparation  cap  Capture of digitized items  qc  Quality assurance of digitized items  met  Metadata creation  pres  Preservation of digitized items  web  Website creation and graphical  design  mgt  Oversight, supervision, management  stor  Storage of digitized items  x  Additional costs unique to the project  not otherwise represented    Measurement of Expected Performance    Performance criteria must measure the  degree to which the digitized collection  meets an institution’s strategic goals,  reflecting the academic standards and  subject interests of the institution. The  criteria must also reflect the expected impact,  accessibility and usage of the materials to be  digitized and measure the degree to which  the collection is used in the teaching and  research of the institution. The National  Information Standards Organization  recommends guidelines for building quality  digital collections (National Information  Standards Organization, A Framework),  many of which are included here. For  Evidence Based Library and Information Practice 2007, 2:3  80 example, NISO recommends that a digital  collection needs to follow an existing  documented collection development policy.    The criteria listed below serve as an example  of performance criteria. Individual  institutions may revise these to their own  specifications or devise their own to align  with their collection development policies.  The criteria must represent what is  important to the respective institution. The  performance criteria are offered here as an  example: significance of content to internal  stakeholders (IS); significance of content to  external stakeholders (ES); uniqueness of  content (Uniq); exposure (Exp).     Total expected project performance is  expressed as follows:     P = ((2*IS) + ES + Uniq + Exp)*100  Significance of content to internal  stakeholders is multiplied by 2 to reflect the  relative importance of this criterion at most  institutions. The total of each criterion is  multiplied by 100 in order to normalize the  data. Other institutions should consider the  importance of each criterion to their  institution and weight them accordingly.     Significance of Content to Internal  Stakeholders    Clearly, if a collection lacks value to the  university’s stakeholders, digitization  should not be pursued. Significance of  content to internal stakeholders (IS) is the  degree to which a collection, once digitized,  supports the immediate and long term  research and teaching needs of the  institution, the expected usage of the  collection by university students, faculty  and staff, and the degree to which the  digitized collection supports the university’s  strategic plan. (Table 1)  Significance of Content to External  Stakeholders    A highly successful digital collection is of  interest to researchers and users outside of  the university, as a greater good in support  of life‐long learning, information discovery  and research. This criterion measures the  expected usage of the collection outside of  the university and the degree to which the  collection supports the university’s  particular subject niche within the global,  digital learning environment.      Subject specialist librarians are pivotal to the  preparation of digitization proposals not  only because of their familiarity with the  research that is conducted in their colleges  but also because of their broader knowledge  of the content of their subject areas, with  their own library’s collection and other  collections. The subject specialist librarian  should be able to determine the significance  of the collection to internal and external  users. In order to identify what content  would be most useful to have digitized, the  subject specialist librarian may also choose  to conduct focus groups and surveys prior  to the writing of the proposal.    The degree to which a digital collection  contributes to the codification of a  discipline’s knowledge is measured within  this criterion. (Table 2)  Uniqueness    In 2004, Google launched its ambitious  project to digitize 30 million books,  partnering with prestigious academic  institutions (Quint). The US Government’s  Printing Office is in the process of digitizing  all federal government documents (GPOʹs  Digitization and Preservation Initiatives).  These large scale digitization efforts, along     Evidence Based Library and Information Practice 2007, 2:3  81 Criterion  Definition  Rating  Scale   Unit of Measure/Quantification  Significance  of Content  (Internal)  A measure of the  significance of knowledge  encoded in the resources  to the institution.  5  Significant information related to the  institution’s areas of focus. Meets the  current and long‐term research and  teaching needs of the institution. Has  great current and historical importance.  Supports the university’s strategic plan.      4  Significant information related to general  teaching and research trends of the  institution. Has current and historical  importance.      3  Significant information related to general  teaching and research trends of the  institution. Lacks either current or  historical significance.      2  Not directly related to the teaching and  research of the institution. Lacks either  current or historical significance to the  institution.      1  Not related to the teaching and research  of the institution. Lacks both current and  historical significance to the institution.  Table 1. Significance of content to internal stakeholders  Criterion  Definition  Rating  Scale   Unit of Measure/Quantification  Significance  of Content  (External)  A measure of the  significance of knowledge  encoded in the document  and its related subject  disciplines known to be of  interest to external  researchers.  5  Significant information of great current  and historical interest to researchers  outside of the institution.       4  Significant information of current and  historical interest to researchers outside of  the institution.      3  Significant information lacking either  current or historical interest to researchers  outside of the institution.      2  Minor significance to researchers outside  of the institution.       1  Lacks significance to researchers outside  of the institution.    Table 2. Significance of content to external stakeholders  Evidence Based Library and Information Practice 2007, 2:3  82 Criterion  Definition  Rating  Scale   Unit of Measure/Quantification  Uniqueness  of Content  A measure of the  uniqueness of the material  included in the collection to  be digitized and the  likelihood of it being  digitized elsewhere.  5  Content is held uniquely by institution  and extremely unlikely to be digitized by  another institution or government agency.      4  Content is rare and unlikely to be  digitized by another institution or  government agency.      3  Content is held by less than a dozen  libraries and is unlikely to be digitized by  another holding library, institution or  government agency.      2  Content is held by hundreds of libraries  and is likely to be digitized by another  institution eventually.      1  Content is held by hundreds or more  libraries and is already in the process of  being digitized.    Table 3. Uniqueness      with those of Microsoft Live, Yahoo!,  Internet Archive, the Million Books Project  and others, all suggest that a significant  percentage of the world’s literature written  in English will be publicly available  electronically in some form within ten years.    Despite these tremendous collective  undertakings, many unique institutional  resources such as original photographs,  archival materials, gray literature such as  university technical reports and conference  proceedings, and other unique or rare  institutional resources remain to be  digitized. This criterion measures the  relative uniqueness of a collection and the  likelihood of it being digitized elsewhere.  (Table 3)    Exposure    The exposure criterion measures the degree   to which the digital collection garners the   institution positive recognition and press.  The criterion also assesses the potential for  the digital availability of the collection to  result in grants and other funding.  (Table 4)  Example Scenarios     The following four digital collection project  scenarios and rankings illustrate how the VE  process helps measure, rank and prioritize  digitization projects. All costs presented are  in US dollars.   In order for proposals to be  ranked consistently, the person who  proposes a project for digitization should be  familiar with the criteria. The exercise is  most useful when comparing projects of a  similar size with similar costs.   Because of the use of cost as a divisor,  projects that are smaller and that cost  significantly less money than other projects   Evidence Based Library and Information Practice 2007, 2:3  83   Criterion  Definition  Rating  Scale   Unit of Measure/Quantification  Exposure  A measure of the amount of  positive press and exposure  that is likely to result from  digital availability of  collection.  5  Stature of university greatly enhanced.  Likely to receive widespread national and  international attention upon project  completion. Likely to result in future  grants and collaborative opportunities.       4  Likely to receive regional and national  attention. Likely to result in future grants  and collaborative opportunities.      3  Likely to receive some regional and  limited national attention. Likely to result  in smaller regional grants.      2  Likely to receive limited regional and no  national attention. No potential for  receiving future grants based on collection  digitization.      1  Likely to receive no attention outside of  the institution.  Table 4. Exposure  under consideration will have a higher  ranking bias. Therefore, when projects of  disparate size are compared, institutions  may wish to calculate cost as a separate  consideration and rank projects according to  the performance criteria alone. To rank  projects independent of cost, in the example  scenarios listed below, institutions would  compare the performance totals for each  project and costs separately.     Project A is a collection of 1500 original  plant specimens and the accompanying  original descriptions of the specimens. The  specimens are essential to the study of the  botanical history of the region. The  specimen collectors, many of whom are  prominent botanists in the region, authored  the accompanying descriptions that  appeared in research journals. The  specimens are entirely unique. Bringing the  type specimens together with the  descriptions is unique among type specimen  digitization projects from around the  country. The institution’s strategic plan  identifies the management of natural  resources as a focus and strength.    Project B is a proposal to digitize 100  documents pertaining to a variety of cherry  developed at and marketed by a department  of the university since the 1980s. There is  minimal research available pertaining to this  cherry variety owing to the fact that it is a  patent‐protected crop. Little is known about  it outside of the institution. The cherry is  potentially important to the state economy,  and the department plans to export the  cherry variety nationally and  globally. Digitizing the documents could  assist in marketing the cherry and provide  exposure for the work of the developers of  the crop. The documents include technical  reports produced by the department; and,  while they are well known and widely used  within the department, they are largely  unknown outside the department.      Evidence Based Library and Information Practice 2007, 2:3  84   Performance Criteria  Performance (P)  Cost (C) in  thousands   Value  (V)  Significance (Internal)*2  8  25      Significance (External)  5        Uniqueness  5        Exposure  5        Total Performance  23        Total Performance Score  (multiplied by 100)  2300          2300  25  P/C=V  92    Project A      Performance Criteria  Performance (P)  Cost (C) in  thousands   Value  (V)  Significance (Internal)*2  4  20      Significance (External)  5        Uniqueness  5        Exposure  3        Total Performance  17        Total Performance Score  (multiplied by 100)  1700          1700  20  P/C=V  85     Project B      Performance Criteria  Performance (P)  Cost (C) in  thousands   Value  (V)  Significance (Internal)*2  2  15      Significance (External)  5        Uniqueness  1        Exposure  3        Total Performance  11        Total Performance Score  (multiplied by 100)  1100          1100  15  P/C=V  73    Project C          Evidence Based Library and Information Practice 2007, 2:3  85 Performance Criteria  Performance (P)  Cost (C) in  thousands   Value (V)  Significance (Internal)*2  10  20      Significance (External)  5        Uniqueness  5        Exposure  3        Total Performance  23        Total Performance Score  (multiplied by 100)  2300          2300  20  P/C=V  115    Project D      Project C is a proposal to digitize a  collection of classic ghost stories authored  by prominent authors such as Joseph  Sheridan, Le Fanu, Henry James and Edgar  Allan Poe. While most of the stories have  already been digitized, this project also  digitizes literary criticism of the stories. The  primary users are students in the English  Department. The university offers a  graduate degree in English Literature that  graduates five to ten Master’s degree  students per year. The literary criticisms will  be widely used by scholars around the  world.    Project D is a proposal to digitize 1100  special reports published by the university’s  Agricultural Experiment Station from the  mid 1950s to the present. Beginning in the  2000s the reports are available online. The  library is discussing a project with the  department to house these reports in the  university’s institutional repository.  Digitizing the older documents provides  access to the entire run of the series online.  Most of the publications are cataloged but  remain difficult to find. Scanning and  providing keyword searching of the  documents dramatically increases their  availability and strengthens the library’s  collections in this area.  Conclusion    As libraries increase their digitization efforts,  many of the same selection principles  applied in the selection of print materials are  used to select digitization projects. Other  considerations, such as campus politics and  budgetary issues, may also enter into project  selection decisions. Because of the  sometimes large‐scale and high cost of  digitization projects, library administrators  should select projects carefully according to  established criteria.     Value Engineering is a structured thought  process that assists administrators in the  selection of significant and unique content  for digitization that enhances the stature of  the university, using established criteria in  the ranking of projects. The use of the Value  Engineering methodology as a tool and  process provides decision‐makers with  objective, quantitative data upon which  selection decisions can be based. The use of  established rating criteria provides selectors  with information about how their proposed  collection will be evaluated.  Finally, the  transparency of the process output is easily  communicated with stakeholders.          Evidence Based Library and Information Practice 2007, 2:3  86 Works Cited    Bick, Dawn and Sinha Reeta. “Maintaining a  High‐Quality, Cost Effective Journal  Collection”. College & Research  Libraries news 52.88 (1991):  485‐49.    Gershenson, John K., Christine E. Hailey, J.  Clair Batty and Warren F. Phillips.  “Application of Value Engineering  Techniques in Curriculum  Development and Review.”  International Journal of Engineering  Education. 18.2 (2002): 140‐150.    Government Printing Office. “GPOʹs  Digitization and Preservation  Initiatives.” 27 Sept 2006. 21 Mar 2007  .    Hays, Robert H. “Qualitative Insights from  Quantitative Methods.” Using Logical  Techniques for Making Better  Decisions. Ed. Douglas Dickson. New  York: Harvard Business Review, 1984.  124‐139.    Jakhanwal, S.P. and Singh, G.B.  “Application of “Value Engineering”  to Rationalize the Cost of Cataract  Surgery in Eye Clinic at Tata Main  Hospital.” Journal of the Academy of  Hospital Administration 13.2 (2001). 29  May 2007  .    Mudge, Arthur E. Value Engineering: A  Systematic Approach. New York:  McGraw‐Hill Book Company, 1971.    National Information Standards  Organization. “A Framework of  Guidance for Building Good Digital  Collections.” 2004. 12 Aug 2006  .    Pearsall, Mike and P. Eng. Project  Performance Measurement. 2004.  Value Engineering, Ministry of  Transportation. 11 Nov 2006  .   Available from author of this paper.      Pershing, Gwendolyn and Mary Krutulis.  “Using a Value Engineering Technique  to Determine Salary Equity among  Academic Libraries.” Library  Administration & Management 10.4  (1996): 240‐245.    Quint, Barbara. Google and Research  Libraries Launch Massive Digitization  Project 2004. 10 Oct 2006.  .    Shenton, Helen. “Developing Life Cycle  Models at the British Library – Work in  Progress.” Digital Preservation Forum.  2002. 8 Oct 2006 .    The University of Michigan Digital Library  Services. “Assessing the Costs of  Conversion: Making of America IV:  The American Voice 1850‐1876.” July  2001. 25 May 2007  .    ʺValue Engineering.ʺ Wikipedia. 11 Nov.  2006. Answers.com 19 Mar. 2007.  .  http://www.gpoaccess.gov/legacy/index.html http://www.gpoaccess.gov/legacy/index.html http://www.indmedica.com/journals.php?journalid=6&issueid=20&articleid=164&action=article http://www.indmedica.com/journals.php?journalid=6&issueid=20&articleid=164&action=article http://www.indmedica.com/journals.php?journalid=6&issueid=20&articleid=164&action=article http://www.niso.org/framework/Framework2.html http://www.niso.org/framework/Framework2.html http://www.scav%E2%80%90csva.org/postconf2004%E2%80%90mp/CSVA%20Track3/Track%203%E2%80%904%20Oct%2026%20Pearsall.pdf%00%00 http://www.scav%E2%80%90csva.org/postconf2004%E2%80%90mp/CSVA%20Track3/Track%203%E2%80%904%20Oct%2026%20Pearsall.pdf%00%00 http://www.scav%E2%80%90csva.org/postconf2004%E2%80%90mp/CSVA%20Track3/Track%203%E2%80%904%20Oct%2026%20Pearsall.pdf%00%00 http://www.scav%E2%80%90csva.org/postconf2004%E2%80%90mp/CSVA%20Track3/Track%203%E2%80%904%20Oct%2026%20Pearsall.pdf%00%00 http://www.scav%E2%80%90csva.org/postconf2004%E2%80%90mp/CSVA%20Track3/Track%203%E2%80%904%20Oct%2026%20Pearsall.pdf%00%00 http://newsbreaks.infotoday.com/nbreader.asp?ArticleID=16307 http://newsbreaks.infotoday.com/nbreader.asp?ArticleID=16307 http://www.dpconline.org/graphics/events/presentations/pdf/LifecycleDPC.pdf http://www.dpconline.org/graphics/events/presentations/pdf/LifecycleDPC.pdf http://www.dpconline.org/graphics/events/presentations/pdf/LifecycleDPC.pdf http://www.umdl.umich.edu/pubs/moa4_costs.pdf http://www.umdl.umich.edu/pubs/moa4_costs.pdf http://www.answers.com/topic/value%E2%80%90engineering%00 http://www.answers.com/topic/value%E2%80%90engineering%00