Fall Journal


 
Volume 20, Number 2 Fall/Winter 2009 

61 
 

 
 
 

  THE USE AND CONTENT OF FORMAL RATING SYSTEMS IN ANGEL 
GROUP INVESTMENT INITIAL SCREENING STAGES 

 
Craig S. Galbraith 

University of North Carolina Wilmington 
galbraithc@uncw.edu 

 
Alex F. DeNoble 

San Diego State University 
adenoble@mail.sdsu.edu 

 
Sanford B. Ehrlich 

San Diego State University 
sehrlich@projects.sdsu.edu 

 
 

ABSTRACT 
 

We examined the formal screening process of thirty‐eight Angel Investment Groups.  
Within our sample, over eighty percent of the Angel Investment Groups used a 
committee of members to perform the initial screening of submitted business plans, 
while the remaining relied upon the managing partner or senior director to perform the 
initial screening.  Of the Angel Investment Groups that use a screening committee, 
approximately half also employed a formal scoring system.  With respect to the 
important dimensions used in the scoring systems, the quality/experience of the 
management team and the competitive advantage of the firm’s product or service, 
including strength of intellectual property protection, were consistently the most 
common dimensions seen in the scoring systems examined.  A content analysis of the 
scoring sheets was also performed in order to determine the various sub‐topics and 
linguistic themes associated with Angel rating systems. 
 
Keywords: angel investors, investment criteria, screening process 
 

INTRODUCTION 
Numerous researchers have discussed 
the investment decision making process 
of private equity investors, as well as 
providing criteria thought to be most 

critical to their successful decision 
making (Tyebjee & Bruno, 1984; 
MacMillan, Siegal & SubbaNarasimha, 
1985; MacMillan, Zemann & 
SubbaNarasimha, 1987; Zacharakis & 

STRATEG Y  JOURNAL OF SMALL BUSINESS 



Journal of Small Business Strategy 
 

 
 

62 

Meyer, 2000; MIT, 2000; Benjamin & 
Margulis, 2000; Van Osnabrugge & 
Robinson, 2000; Payne & McCarty, 2002; 
Sudek, 2007).  While the vast majority of 
past research in the private equity 
literature has focused on formal venture 
capital (VC) funds, the decision making 
processes and selection criteria of 
informal private equity, or Angel 
investors, has received increasing 
attention in recent years.  In particular, a 
number of recent articles and books 
have noted the critical importance of the 
perceived “quality” of an applicant firm’s 
management team in Angel investment 
decisions, with particular emphasis on 
the interpersonal style and perceived 
ethical behaviors of management (e.g., 
Benjamin & Margulis, 2000; Van 
Osnabrugge & Robinson, 2000; Payne & 
McCarty, 2002; Sudek, 2007, 2009).  In a 
recent Journal of Small Business Strategy 
article, for example, Sudek (2007) 
surveyed the investors at one large Angel 
group, and found that the three top 
criteria for Angel investments were 
“trustworthiness/honesty of the 
entrepreneur”, “management team”, and 
enthusiasm/commitment of the 
entrepreneur” (p. 98).  Extending this 
study, Sudek (2009) also investigated the 
direct relationship between the 
personalities of the presenting 
entrepreneur and the personalities of 
Angel members, finding that personality 
does influence the investors’ interest in 
taking the potential deal to the due 
diligence stage.  

While increasing our understanding of 
the final investment process, this stream 

of empirical research has focused 
primarily on the complexities of Angel 
investors’ final evaluation based upon 
their interactions with entrepreneurs, 
such as during the due diligence process 
or the formal presentations of business 
plans to the full Angel group – of which 
most members haven’t even read the 
presenters’ business plan prior to the 
presentation.  Not surprising, it is during 
these formal presentations, Q&A, and 
the related subsequent discussions 
among interested investors where the 
interpersonal dynamics of the 
entrepreneur/management team, such 
as “passion and trustworthiness” are 
assessed and debated by the members 
within an Angel investor group (e.g., 
Sudek, 2007, 2009). 

In most investment decision making 
processes of Angel groups, however, 
there are multiple levels of screening 
mechanisms, of which the formal 
presentation to the Angel group and 
subsequent due diligence process, 
described by Payne & McCarty, 2002; 
Sudek (2007, 2009), Shane (2007) and 
others, are typically the final screening 
steps.  For most Angel groups, a number 
of earlier screening mechanisms may 
also be in place, and it is these early‐
stage screening reviews that actually 
filter out the vast majority of applicants.  
In reality, only a few applicants will 
make it past these earlier screening 
stages to an actual presentation before 
the full Angel group membership.  In 
effect, the deal flow of proposals, 
business plans, and applications can be 
considered similar to a funnel, where 



Volume 20, Number 2 Fall/Winter 2009 
 

 
 

63 
 

various filtering mechanisms are needed 
to shrink the number of applicant 
enterprises to a manageable size for final 
presentations and discussions with the 
full Angel group membership.  Similar 
multi‐level screening protocols are also 
used by Federal granting agencies 
(Galbraith, Ehrlich & DeNoble, 2006; 
Galbraith et al, 2007), as well as in early‐
stage corporate R&D project decisions 
using a “stage‐gate” process (Ozer, 1999; 
Linton, Walsh & Morabito, 2002; 
Ajamian & Koen, 2002; Cooper, 2001; 
Cooper, Edgett & Kleinschmidt, 2002).   

In spite of their critical importance in 
filtering out applicant business plans, 
these earlier screening processes of 
Angel investor groups have not been 
examined in detail.  We know very little 
about the differences in Angel investor 
group initial screening processes, and 
perhaps most importantly, we know 
even less about the criteria used in initial 
screens to filter out applicant business 
plans.   

A number of descriptive studies have 
suggested that many of these early 
assessments now involve some type of 
multidimensional scoring sheet or rating 
process (MIT, 2000; Payne & McCarty, 
2002; Cooper, Edgett & Kleinschmidt, 
2002).  In fact, within the past decade 
there has been a stream of complex 
technology readiness check‐lists or 
calibrated scoring models designed for 
early stage, or “fuzzy” front‐end 
assessments (Mock, Kenkeremath & Janis, 
1993; Koen et al, 2002; Heslop, McGregor 

& Griffith, 2001; White, Hertz & D’Souza, 
2009).    

Our study explores this important part 
of the pre‐presentation Angel screening 
process and the use of formal scoring 
systems for early‐stage screening and 
filtering of potential equity investments 
by Angel groups.  The stage of screening 
that we are investigating is prior to any 
significant interaction between Angel 
investors and the entrepreneur, and is 
typically based solely upon information 
in the business plan or executive 
summary provided to a screening 
committee or panel.  Thus, our study 
attempts to fill an important gap in 
understanding the full sequence of 
actions and evaluation criteria after the 
initial submission of an applicant 
business plan to an Angel group. 
 
Early‐Stage Equity Investment 
It is increasingly evident that informal 
private equity has become a critically 
important source of funding for early‐
stage firms, particularly those with a 
high growth or “scalability” potential.  
The Venture Support Systems Project: 
Angel Investors (MIT, 2000) notes, 
“Angel investing is the major source of 
funding for the seed ($25,000‐$500,000) 
and start‐up phases ($500,000 ‐ 
$3,000,000)”, (2000: 9).  Similarly, the 
Angel Capital Association notes, Angel 
investing bridges “the gap between 
“family and friends” and institutional 
venture capital rounds” (2002: 1)  While 
estimates of the total annual equity 
funding from Angels varies dramatically, 



Journal of Small Business Strategy 
 

 
 

64 

it is generally agreed that Angel 
investment in early‐stage investments 
exceeds formal venture capital funding 
(Sohl, 2005), with a large percentage, if 
not the majority, of Angel investment in 
“pre‐revenue firms.”  A recent survey by 
the ACA of Angel group members found 
that about 80% indicated preferences for 
investing in seed to early‐stage 
enterprises, with only a minority of 
members showing preferences for 
expansion stage enterprises (Shane, 
2007).  Research by Wong (2002) found 
that 69% of his sample of Angel funded 
firms were in “pre‐revenue” phases of 
development, while in their analysis of 
the ACA survey data Wiltbank & Boeker 
(2007) found 45% of the Angel 
investments were in pre‐revenue firms. 

While there are many individual 
investors who take equity positions as 
“arms‐length” transactions in early‐stage 
firms, an increasingly popular form of 
organizing private equity investors is 
through the formation of “Angel 
groups”.  Angel groups are formal 
networks of SEC defined “accredited 
investors.”  As of 2008, the Angel Capital 
Association identifies about 200 Angel 
groups within the United States and 
Canada.  Most of the published literature 
on informal private equity decision 
making processes, however, tends to 
either focus on the very large and well‐
known Angel groups, such as Tech Coast 
Angels located in Southern California 
(e.g., Sudek, 2007, 2009; Payne & 
McCarty, 2002), or concentrate on 
investment returns (e.g., Wiltbank & 
Boeker, 2007) and demographic 

characteristics (e.g., Shane, 2007) for the 
broader Angel member population.  
Very little has been published about the 
screening and decision making process 
of smaller, and more typical Angel 
groups in the United States.   

Most Angel groups, regardless of size, 
have developed a formal process of 
screening, evaluating and selecting deals 
(MIT, 2000).  For example, a typical 
multi‐level screening process is used by 
the Wilmington Investor Network (WIN) 
Angel investment group.  Founded in 
2003, WIN is located in the Cape Fear 
coastal region of Southeastern North 
Carolina, and is a member of the ACA.  
WIN’s current membership consists of 
approximately forty‐five SEC accredited 
investors that invest in approximately 2 
to 3 deals per year.  The median size of 
the member groups in the Angel Capital 
Association is approximately 37 
members, with annual investments of 
around 2 to 3 deals per year (see Shane, 
2007 for descriptive data regarding the 
recent ACA’s survey of members).  This 
places WIN as a typical, mid‐sized 
regionally‐based Angel investment 
group.  To date WIN has invested 
approximately $7 million (about 
$1.3million for each year of operation) in 
early‐stage, seed or Series A financing in 
nine different firms and a number of 
follow‐on investments including 
convertible debt bridge financing and 
Series B investments in the previously 
funded enterprises.  Several of the 
funded firms are located in the Raleigh‐
Durham‐Chapel Hill research triangle 
area of North Carolina.  In comparison, 



Volume 20, Number 2 Fall/Winter 2009 
 

 
 

65 
 

the often profiled and much larger Tech 
Coast Angels of Southern California has 
been in existence since 1997, has almost 
300 members with over $85 million 
invested in approximately 130 firms 
(Tech Coast Angels, 2009). 

All of the firms funded by WIN can be 
considered medium to high technology, 
and include biotechnology, medical 
technologies, software development, and 
technology‐based services.  Most of the 
investments are syndicated with one or 
two other Angel investment groups in 
the Carolinas or with state supported 
funding sources, such as NC Idea, so that 
the total investment in a particular 
funding round is typically over $1million.  
The screening process of WIN is 
described below. 

First the managing director of WIN 
screens about 300 potential investments 
per year.  These firms generally come 
from two primary sources: a) the 
managing director attends various 
regional private equity forums where 
companies present to a large audience of 
representatives from venture capital and 
Angel networks – if any of the 
presentations seem of interest, these are 
then sent to the next level of WIN 
screening, and b) WIN receives a 
number of unsolicited applicants 
through referrals and its web‐page – the 
referrals usually originate from other 
regional Angel groups, VC funds, local 
attorneys, and occasionally from 
members.  The managing director 
screens these applicants, and eliminates 

those applicants that are not within the 
general published interest areas of WIN, 
such as start‐up restaurants, feature 
length film and TV pilot financing 
(Wilmington, NC has a large film sector, 
with the largest movie studio in the U.S. 
outside California), and retail stores, as 
well as applicants who are located 
outside the geographical Southeastern 
U.S. region – the remaining firms are 
sent to the next level of screening.  

Second, a screening committee of 
approximately five to six WIN members 
formally meets once per month for 
breakfast.  Out of the original 300 
applicants, approximately 60 applicant 
business plans are sent to the screening 
committee per year (4 to 6 applicants 
typically discussed during each 
screening meeting).  All members of the 
WIN screening committee read the 
applicant’s submitted documents 
(typically business plans, executive 
summaries, pro‐formas, and PowerPoint 
presentations). The majority of applicant 
documents are in the form of five to ten 
page detailed executive summaries, 
oftentimes combined with a separate 
document describing the technology in 
more detail.  Detailed, long business 
plans, once the dominant start‐up firm 
document, appears to be falling in 
popularity for submission to Angel 
investor groups. The WIN screening 
committee uses a web‐based document 
management system (AngelSoft) to 
facilitate pre‐screening on‐line 
dissemination of, as well as, encouraging 
on‐line discussions by the screening 



Journal of Small Business Strategy 
 

 
 

66 

committee regarding the applications.  A 
five question formal rating sheet is 
available to the screening committee 
members, primarily to organize their 
thoughts for the formal screening 
committee breakfast meeting.  Based 
upon the screening committee 
discussions and recommendations, 
approximately 15 to 18 firms per year are 
invited to present to the full WIN 
membership. 

Third, the selected candidate firms 
present to the full WIN membership 
during its monthly dinner meeting.  The 
typically presentation is 30 minutes, 
followed by a Q&A period.  This is 
similar to the average amount of time 
allocated to presentation and Q&A 
reported in the ACA survey (Shane, 
2007).  After the presentation, an 
informal hand vote is taken to determine 
the level of interest.  If there is general 
interest to fund the presenting firm, this 
is confirmed by follow‐up e‐mails which 
also ask for specific dollar commitments 
from the individual members.  WIN is 
not a fund, so individual members 
decide whether or not to invest, and how 
much.   

Fourth, if the committed amount meets 
the solicited amount from the firm, then 
WIN performs a typical “due diligence” 
procedure on the firm.  If the firm 
“passes” the due diligence process, the 
final agreement of valuation and 
investment terms is then formalized in a 
“term” sheet.  Since many of the 
investments are partnered with other 
Angel groups, WIN may take either a 

lead or secondary role in the due 
diligence process and subsequent 
negotiations.  Thus from a screening 
perspective, approximately 30% of the 
business plans that go to the screening 
committee are invited for a formal 
presentation, with about 5% of the 
screening committee applicants actually 
funded. 
 
EMPIRICAL STUDY 
In 2008, a list of U.S.‐based Angel 
Investment Groups was obtained from 
Angel Capital Association web‐page.  
The list was screened to include only 
member‐based Angel groups (for 
example, fund based groups, 
government funded groups, individuals, 
or organizations that typically “charge” 
for a presentation were excluded).  An 
electronic questionnaire was sent to the 
remaining ninety‐two Angel Investment 
Groups asking for: a) a description of 
their pre‐due diligence early screening 
process of business plans, b) whether or 
not a formal rating or scoring process 
was used for their initial screening of 
business plans, c) if a formal scoring 
system was employed then a copy of the 
scoring sheet was obtained, and d) if a 
formal system was not used, what was 
the general criteria that was used to 
screen business plans.   

A total of thirty‐eight usable responses 
were obtained, for a response rate of 
41.3%.  No significant response bias was 
evident based upon region.  In almost 
every case the respondent was the senior 
director or managing partner of the 
Angel Investment Group.  In about 



Volume 20, Number 2 Fall/Winter 2009 
 

 
 

67 
 

fifteen cases, the authors subsequently 
interviewed the senior director after the 
questionnaire was returned (to obtain 
information regarding the use of web‐
based document management programs, 
follow‐up information if survey was not 
complete, etc.). 

Within our sample, 81.5% (n=31) of the 
Angel Investment Groups used a 

committee of members (similar to the 
WIN process described above) to 
perform an early screening of submitted 
business plans, while the remaining 
18.5% (n=7) of the sample relied solely 
upon the managing partner or senior 
director to perform early screening (see 
Table 1).

 
Table 1 ‐ Screening Process and Scoring 
 

  Sample 
(N=38) 

Screening Committee Decision    31 

      Scoring System with No Weightings    13 

      Scoring System with Weightings     2 

      No Scoring System    16 

   

Individual Manager Decision     7 

 
 
Of the Angel Groups that used a 
screening committee, approximately 
48% (n=15) also employed a formal 
scoring system.  Here we define a formal 
scoring system as a Likert‐style 
numerical rating scheme on multiple 
dimensions.  Of these, however, only 
two groups used a scoring system that 
also employed a weighting system 
reflecting the importance for the various 
dimensions.  In a weighted scoring 
system, for example, a ranking of “5” on 
“management team” might be weighted 

differently than a ranking of “5” on 
“intellectual property.” 

Nine of the committee‐based screening 
processes employed the ranking system 
available in the AngelSoft software 
program.  In fact, within our sample, the 
Angelsoft program was clearly becoming 
an increasingly common way to 
distribute documents and allow member 
feedback, including rankings, of the 
business plans by screening committee 
reviewers.  Several respondents 
indicated that they had just starting 



Journal of Small Business Strategy 
 

 
 

68 

using AngelSoft within the past six 
months.  One Angel screening 
committee also reported “beta testing” a 
specialized social network system as 
their document management system.  

All of the Angel groups (except two) that 
used a rating system for their early 
screening, however, reported that the 
rating process was not final but used as a 
process to facilitate the screening 
committee’s discussion, after which a 
vote was taken whether or not to 
forward the applicant to the general 
membership.  In theory, formalized 
assessment used in this manner during a 
screening procedure should focus the 
decision‐making process by providing a 
set of cues that individuals attend to in 
the evaluation of early stage 
technologies.  In the case of most Angel 
groups, the membership of SEC 
accredited investors provides an 
experienced, highly educated and 
diverse pool of reviewers.  These 
reviewers each bring different 
“experience sets” that should enable 
them, in principle, to recognize 
antecedent patterns associated with the 
success or failure of commercialization 
efforts.  These patterns or cognitive 
schemas presented in formalized rating 
sheets should simplify the decision‐
making process and allow experts to sort 
through a complex set of cues regarding 
the technology’s prospects for 
commercialization to quickly develop 
summary judgments.  

Two of the Angel groups reported using 
a web‐based multi‐dimension rating 

process as a first level screening process 
to filter applicants down to a 
manageable number for the subsequent 
screening committee discussions.  This 
first level, web‐based early screening, is 
based upon an average score of the 
reviewing committee (above or below a 
threshold rating), thus filtering out the 
majority of the applicants.  In addition, 
about half of the other Angel groups that 
were currently using web‐based 
programs for document management 
also reported plans to implement a 
similar web‐based rating and filtering 
procedure, followed by an in‐person 
screening committee meeting.  

The remaining 52% (n=16) of the 
committee‐based early screening process 
used either a consensus or simple voting 
process during a screening committee 
meeting, or a simple ranking or rating 
on the overall proposal (rather than on 
multiple dimensions).   

With respect to the important 
dimensions used in the scoring systems, 
Table 2 indicates what dimensions were 
most commonly identified within the 
scoring sheet.  Clearly the 
quality/experience of the management 
team and the competitive advantage of 
the firm’s product or service were 
consistently the most common broad 
dimensions seen in the scoring systems 
examined in this study.  This is 
consistent with many of the studies that 
have examined the general criteria for 
selection (e.g., MIT, 2000; Payne & 
McCarty, 2002; Wiltbank, 2005; Sudek, 
2006). 



Volume 20, Number 2 Fall/Winter 2009 
 

 
 

69 
 

 
Table 2 ‐ Scoring Dimensions for Screening 
 

  Percentage Mentioned 
in Scoring Sheet 

(N=15) 

Quality/Experience of Management Team  100.0% 

Characteristics of Product or Service (Including IP 
Protection) 

93.3% 

Market and Competitive Characteristics  86.7% 

Completeness/Quality of Business Model/Strategy  80.0% 

Transaction/Valuation Characteristics   53.3% 

Quality of Pro‐Forma Financials  46.7% 

Geographical Location   26.7% 

Exit Strategy  20.1% 

Prior Performance  13.4% 

Stage of Technology Development  13.4% 

 
 
It is also interesting to note, however, 
that in the two formal weighted scoring 
systems examined, the competitive 
advantage of the firm’s product or 
service, including strength of intellectual 
property protection, were weighted 
somewhat higher than the 
quality/experience of the management 
team.  In contrast, in the early screening 
processes that did not use a formal 
scoring system, the senior director or 
managing partner respondent almost 
always mentioned that, in his or her 
opinion, quality/experience of 
management team was the most 
important dimension. 

A “descriptive” content analysis was 
performed on the various Angel scoring 
sheets following the process described 
by Neuendorf (2002) and Krippendorff 
(2004).  While not common, several 
researchers have performed content 
analysis of questionnaire wording, such 
as in public opinion surveys (e.g., Fan, 
2003), to better understand the 
importance and evolution of the 
underlying dimensions employed, while 
other scholars have called for more 
content analysis of questionnaire and 
rating instrument wording (e.g., Inkelas 
et al, 2000).  To our knowledge, rating 
instruments and systems for private 



Journal of Small Business Strategy 
 

 
 

70 

equity investments have not been 
analyzed in this manner.     

Following Neuendorf (2002), a codebook 
was established for the top four 
categories of scoring shown in Table 2.  
In general there were three types of 
Angel scoring sheets coded, a) scoring 
sheets that simply had broad categories, 
such as “management,” b) scoring sheets 
that had broad categories, but with 
descriptive phrases associated with the 
categories, and c) scoring sheets that 
had sub‐scoring or ranking under each 
general category.  All three of these 
scoring sheet forms were coded 
according to the codebook.  Due to the 
relatively small sample size, the coding 
analysis was done manually.  Two coders 
were used, with an inter‐coder reliability 
coefficient (kappa coefficient) of 86.7% 
for intra‐category coding (e.g., phrases 
within “Management” etc.), which is 
generally considered good overall 
agreement in content analysis studies 
(Kvalseth, 1989; Stemler, 2001).   

We then used the revised “General 
Inquirer” (GI) software program 
originally developed by Stone et al 
(1966) to identify word roots and 
linguistic orientations or “textual 
themes” within the Angel scoring 
systems.  The GI analysis provides a 
mapping tool with tag counts for 
dictionary‐supplied categories and 
themes (Harvard IV‐4 dictionary; 
Lasswell dictionary, etc.), and is 
commonly used to provide a simple 
linguistic profile of statements or 
phrases (e.g., Gibbs, 2004; Montgomery 

et al, 2005) based on sophisticated word 
count algorithms.  Ignoring words such 
as prepositions, articles, and high‐
context words, the remaining words are 
stripped of their suffixes and compared 
with the various GI dictionaries.  This 
technique is useful to identify various 
dictionary‐supplied “textual themes” 
associated with the word usage in a 
particular category of analysis, such as 
“strong” words versus “hostile” words 
versus “activity” words, etc.  In effect, GI 
uses different disambiguation routines 
to analyze a particular phase, then 
separate words into these different 
themes depending on their use within a 
phrase or sentence.  Since GI employs a 
large library of categories and themes, it 
differs from purely inductive content 
analysis mapping tools such as 
TextSmart and various neural‐net 
procedures that are sometimes used on 
more voluminous, and less defined texts 
such as a political speech or a novel.  
Based upon the GI analysis it becomes 
possible to provide empirical evidence 
embedded in the coding and rating 
sheets as to what “textual themes” 
become most important to private 
equity screening committees when 
analyzing a submitted business plan.   

All descriptive phrases, explanations, 
and other language/wording found in 
the various Angel scoring systems for the 
categories of “management”, “product”, 
and “market” were inputted in the GI 
program; there were an insufficient 
number of phrasings to perform a 
reliable GI analysis on “business 
plan/model” category. 



Volume 20, Number 2 Fall/Winter 2009 
 

 
 
71 

 

Table 3 provides a summary of the most 
common sub‐factors, descriptors, or 
statements for each of the top four 
general early screening categories found 
in the rating systems, as well as the most 
common thematic root word tags from 
the GI analysis.  Important “textual 
themes” are identified by the percentage 

of tags identified by GI falling within 
that theme category.  With the GI 
metrics, it is possible to perform an 
analysis of variance on proportions, 
comparing the proportions of the 
different themes between the different 
categories.

 
Table 3 ‐ Content Analysis: Sub‐Topics and “General Inquirer” Thematic Word 
Tags 

 



Journal of Small Business Strategy 
 

 
 
72 

 
The individual factors, or statements, for 
each of the general categories are useful 
to understand since they likely represent 
the underlying, latent factors or criteria 
that screening members use to assess 
the broader categories of evaluation.  
From Table 3 we can see that 
management experience in industry and 
past experience running a business are 
the primary sub‐areas with the general 
category of “management.”  In addition, 
from the thematic analysis, it appears 
that Angel screeners may be looking for 
linguistic themes in the applicant 
business plans that evoke “strong” 
emotions, such as demonstrate, 
aggressive, depth and experience, 
combined with “action” themes such as 
build, commit, demonstrate and 
implement.  Similarly, under 
characteristics of product/service, the 
general sub‐areas appear to be 
uniqueness or differentiation, 
intellectual protection, and ability to 
solve market problems.  These sub‐areas 
are also reflected in the thematic 
language, such as “strong” word tags that 
emphasize benefits, fulfilling, and 
proving combined with “active” linguistic 
themes, such as solving customer needs.  
For the market and competitive 
characteristics, the thematic categories 
appeared more diverse ‐‐ six different 
themes had over a 4.0% frequency, with 
the dominant linguistic theme again 
being “active” using related words such 
as growth, demonstrate, achieve and 
provide.   

Using a weighted average of percentages 
based upon the number of words for 
each sub‐topic inputted into the GI, 
overall Angel screening committees 
appear to be grounding their analysis of 
submitted business plans in the context 
of “strong” linguistic themes (15.64% of 
all word tags) and “active” linguistic 
themes (14.3%) ‐‐ no other linguistic 
theme had a total proportion greater 
than 5.0% across the combine data.  
However, using a test of equality of 
several population proportions (e.g., 
Kullback, 1968) there were significant 
differences (against the null hypothesis 
of equal proportions) between the 
proportions of the different themes (e.g., 
strong versus active) across the 
categories of management team 
experience, characteristics of product, 
and market and competitive 
characteristics (p<0.01, χ2=19.74).  This 
clearly suggests that while both “active” 
textual themes and “strong” textual 
themes dominate in Angel screeners’ 
rating systems, screeners are also 
certainly looking for different textural 
themes, and ultimately different evoked 
emotions, across the different sections of 
the business plan. 
 
CONCLUSION AND IMPLICATIONS 
All decisions for equity investment by 
Angel groups involve some form of early 
screening.  While there have been many 
recent empirical examinations of the 
final investment and decision making 
process for both Angel and VC investors 
(e.g., Shepard and Zacharakis, 2002; 



Volume 20, Number 2 Fall/Winter 2009 
 

 
 
73 

 

Sudek, 2006, 2009), the complexity of 
the initial screening process has been 
largely ignored, a somewhat surprising 
phenomenon since the vast majority of 
business plans and proposals are 
screened out in these earlier stages.  One 
of the more objective processes 
employed in early stage screening is the 
use of formal rating systems. 

Our study indicated that there were 
extreme differences in opinion regarding 
the use of formal scoring systems in 
early stage, pre‐due diligence screening 
decisions.  On one hand, a number of 
Angel groups utilized a formal scoring 
system, with two groups even 
formalizing the process to the point of 
providing different weights to the 
different dimensions, then ranking the 
proposals based upon a weighted sum of 
the ratings for the different dimensions.  
Other Angel groups utilize ratings as a 
first‐level web‐based screening process 
prior to a screening committee 
discussion.  And the trend appears clear 
from our research – as the use of 
sophisticated and dedicated document 
management programs, such as 
AngelSoft, becomes more dominant, 
more Angel groups are likely to move to 
web‐based early screening procedures 
that utilize multi‐dimension, and 
possibly weighted rating schemes, to 
filter applicant business plans and 
executive summaries. 

On the other hand, several respondents 
clearly challenged the validity of any 
scoring process, or as one manager from 

an Angel group located in the Northeast 
United States wrote, “we specialize in 
early stage deals and question the utility 
of a scoring system in our environment.”  

At another level, there was great 
consistency between the Angel groups 
within our sample.  Every group that 
used a formal rating system for their 
initial screening decision had 
quality/experience of the senior 
management team as one of their 
dimensions in the rating sheet.  
Similarly, all the respondents of the 
Angel groups that did not use a formal 
scoring system indicated that they 
thought that the quality/experience of 
the management team was most 
important to the screening process.  As 
one respondent succinctly argued, “I’m 
sure we could quantify the weightings 
but don’t because it probably wouldn’t 
add much value since it would be highly 
skewed to the management team.” 

From a research point of view, however, 
Angel groups that use formal rating 
systems offer an excellent objective 
framework to analyze the criteria used in 
initial screening, particularly since the 
majority of applicant business plans are 
filtered out during this stage prior to any 
“face‐to‐face” contact between the 
entrepreneurship and the actual 
members of the private equity group.  
Although there have been several recent, 
albeit small sample, content analyses of 
business plans and subjective decision‐
making descriptions from private equity 
investors (e.g., Smart, 1999; Diaz de Leo 



Journal of Small Business Strategy 
 

 
 

74 

& Guild, 2003; Silva, 2004; Kollmann & 
Kuckertz, 2004; Christina, Cornet & 
Asandei, 2006), to our knowledge the 
actual instruments and rating systems 
for private equity investors have not 
been analyzed in this manner.  And as 
Inkelas et al (2000) and Fan (1998, 2003) 
suggest, using the objective descriptions 
in questionnaires and rating sheets 
measures for a content analysis provide 
an important foundation to better 
understand the actual dimensions being 
used, regardless of subjective opinions.   

While there is certainly a difference of 
opinion regarding formalized screening 
and scoring systems for early stage 
equity investment screening, there 
remains an even broader question that 
still needs to be answered: do early stage 
reviewers, Angel investors, and 
screening committee members actually 
have any ability to predict future 
success?  This, after all, is the underlying 
assumption behind all screening 
meetings. 

Almost all empirical research to date 
that attempts to examine the actual 
criteria leading to successful private 
equity investment is ex‐post in nature.  
Given the hindsight and memory decay 
biases inherent in ex‐post analysis, 
however, a few researchers are starting 
to examine technology 
commercialization and early‐stage 
enterprise success within an ex‐ante, 
longitudinal framework that tracks early 
stage firm success years after the firms 
were evaluated and rated by investors.  
Some of the ex‐ante research has 

examined the decision making process 
among equity investors, such as venture 
capitalists (e.g, Zacharakis & Meyer, 
2000; Zacharakis & Shepherd, 2001; 
Shepard & Zacharakis, 2002; Baum & 
Silverman, 2004), while other ex‐ante 
research has investigated additional 
early stage funding mechanisms, such as 
government grants (e.g. Astebro, 2004; 
Galbraith et al, 2006).  While only a few 
ex‐ante screening studies have been 
published, these findings tend to 
challenge both the validity of many 
early‐stage screening processes and the 
importance of often‐repeated evaluation 
criteria, like “management quality.”  
Clearly, much more ex‐ante research 
needs to be accomplished in this area, 
particularly in the areas of accuracy of 
prediction and assessments by equity 
investment investors and business plan 
screeners.  

Regardless of whether the screening 
process actually produces better 
investments or not, this study provides 
important information for the 
entrepreneur seeking funding.  In order 
to get past the initial screening stage, 
entrepreneurs need to incorporate and 
emphasize the top factors typically seen 
in screening rating systems.  In fact, 
Table 3 could be used as a check list for 
entrepreneurs when writing their 
executive summaries or business plans 
for submission to an Angel network.  
Business plan writers not only need to 
concentrate on the sub‐topics that are 
important to the Angel screeners, but 
also employ the linguistic phrasing that 
evokes the desired profiles that 



Volume 20, Number 2 Fall/Winter 2009 
 

 
 
75 

 

screeners are looking for.  And while it 
might be true, as Sudek (2007, 2009) 
emphasizes, that interpersonal dynamics 
are important to progress to the final 
due diligence stage, a critical step for 
most entrepreneurs is to get past the 
initial screening stage, and simply be 
invited to make a presentation. 
 

REFERENCES 
Angel Capital Association. (2002). 
Business angel investing groups growing 
in North America, working paper, ACA. 

Ajamian, G., & Koen, P.A. (2002). 
Technology stage gate: A structured 
process for managing high risk, new 
technology projects, In P. Belliveau, A. 
Griffin, and S. Sorermeyer. (Eds.), PDMA 
Toolbook for New Product Development. 
New York: John Wiley & Sons, 267‐295.  

Astebro, T. (2004). Key success factors 
for technological entrepreneurs’ R&D 
projects. IEEE Transactions on 
Engineering Management, 51(3), 314‐321. 

Baum, J., & Silverman, B., (2004).  
Picking winners or making them?  
Alliances, patents and human capital as 
selection criteria in venture financing 
and performance of biotechnology start‐
ups.  Journal of Business Venturing, 19, 
411‐436. 

Benjamin, G.A., & Margulis, J.  (2000). 
Angel Financing: How to Find and Invest 
in Private Equity.  New York: John Wiley 
& Sons. 

Christina, C., Cornet, A. & Asandei, S. 
(2006). Financing of women‐owned 
ventures: The impact of gender and 
other owner ‐and firm‐related variables 
Venture Capital: An International Journal 
of Entrepreneurial Finance, 8(2), 133‐157. 

Cooper, R. (2001). Winning at New 
Products (3rd ed.). Reading, MA: Perseus 
Publishing. 

Cooper, R., Edgett, S., & Kleinschmidt, E. 
(2002). Optimizing the stage‐gate 
process: What best practice companies 
are doing ‐ Part I. Research‐Technology 
Management, 45(5), 21‐27.  

Díaz De Leó, E. (2003). Using repertory 
grid to identify intangibles in business 
plans. Venture Capital: An International 
Journal of Entrepreneurial Finance, 5(2), 
135‐160. 

Fan, D. (1988).  Predictions of public 
opinion from the mass media: Computer 
content analysis & math modeling.  
Westport, CT: Greenwood Press.  

Fan, D. (2003) Relationship between 
Survey Questions, Newsgroup Content, 
and Mainstream News Coverage.  Paper 
presented to the American Association 
for Public Opinion Research, Nashville, 
TN, August 6, 2003.  

 

 

 



Journal of Small Business Strategy 
 

 
 

76 

Galbraith, C., DeNoble, A., Ehrlich, S., & 
Kline, D. (2007). Can Experts Really 
Assess Future Technology Success? A 
Neural Network & Bayesian Analysis of 
Early Stage Technology Proposals. 
Journal of High Technology Management 
Research, 17, 125‐137. 

Galbraith, C., Ehrlich, S., & DeNoble, A. 
(2006). Predicting Technology Success: 
Identifying Key Predictors and Assessing 
Expert Evaluation for Advanced 
Technologies. Journal of Technology 
Transfer, 32(1), 673‐684. 

Gibbs, J.  (2004).  Media content 
analysis: An introduction to 
methodologies and applications.  Journal 
of Social Affairs, 21 (82) 39‐70 

Heslop, L., McGregor, E., & Griffith, M. 
(2001). Development of a technology 
readiness assessment measure: The 
cloverleaf model of technology transfer. 
Journal of Technology Transfer, 26, 369‐
384. 

Inkelas, M., Loux, L., Bourque, L., 
Widawski, M., & Nguyen, L. (2000).  
Dimensionality and reliability of the 
Civilian Mississippi Scale for PTSD in a 
postearthquake community. Journal of 
Traumatic Stress, 13(1), 149‐167. 

Koen, P., Ajamian, G., Boyce, S., Clamen, 
A., Fisher, E., Fountoulakis, S., Johnson 
A., Puri, P., & Seibert, R. (2002). Fuzzy‐
front end: Effective methods, tools and 
techniques. In P. Belliveau, A. Griffin, 
and S. Sorermeyer. (Eds.). PDMA 
Toolbook for new product development. 
New York: John Wiley and Sons, 2‐35. 

Kollmann, T., & Kuckertz, A. (2004). 
Venture capital decision making after 
the high tech downturn ‐ Considerations 
based on German e‐business investment 
cases. Available at SSRN: 
http://ssrn.com/abstract=556543 

Krippendorff, K. (2004). Content 
Analysis: An Introduction to Its 
Methodology. 2nd edition, Thousand 
Oaks, CA: Sage. 

Kullback,  S. (1968).  Information Theory 
and Statistics.  New York: Dover 
Publications 

Kvalseth, T. (1989). Note on Cohen’s 
kappa. Psychological reports, 65, 223‐226 

Linton, J., Walsh, S., & Morabito, J. 
(2002). Analysis, ranking and selection 
of R&D projects in a portfolio.  R&D 
Management, 32(32), 139‐148. 

Massachusetts Institute of Technology 
(MIT), (2000). Venture support systems 
project: Angel investors, Boston, MA: 
MIT Press. 

MacMillan, I.C., Seigel, R., & 
SubbaNarasimha, P. (1985). Criteria used 
by venture capitalist to evaluate new 
venture proposals. Journal of Business 
Venturing, 1, 119–128. 

MacMillan, I.C., Zemann, L., & 
SubbaNarasimha, P. (1987). Criteria 
distinguishing unsuccessful ventures in 
the venture screening process. Journal of 
Business Venturing, 2, 123–137 

 



Volume 20, Number 2 Fall/Winter 2009 
 

 
 
77 

 

Mock, J., Kenkeremath, D., & Janis, F. 
(1993). Moving R&D to the marketplace: A 
guidebook for technology transfer 
managers, Falls Church, VA: Technology 
Prospects, Inc. 

Montgomery, A., Panagopoulou, E., 
Peeters, M., & Schaufeli, W. (2005).  The 
meaning of work and home.  
Community, Work & Family, 8 (2), 141‐
161. 

Neuendorf, K. (2002). The content 
analysis guidebook. Thousand Oaks, CA: 
Sage. 

Ozer, M. (1999). A survey of new 
product evaluation models. Journal of 
Product Innovation Management, 16, 77‐
94. 

Payne, W., & McCarty, M. (2002). The 
anatomy of an angel investing network: 
Tech Coast Angels, Venture Capital, 4(4), 
331‐336. 

Shane, S. (2007).  Angel Groups: An 
Examination of the Angel Capital 
Association Survey. 
http://www.angelcapitalassociation.org/
dir_downloads/resources/Scott_Shane_‐
_ACA_Data_Analysis_of_the_ACA_Surv
ey.pdf 

Shepard, D., & Zacharakis, A. (2002). 
VCs decision processes: Evidence 
suggesting more experience may not 
always be better.  Journal of Business 
Venturing, 18, 381‐401. 

Silva, J. (2004).  Venture capitalists' 
decision‐making in small equity 
markets: a case study using participant 
observation. Venture Capital: An 
International Journal of Entrepreneurial 
Finance 6(2), 125‐145.  

Smart, G. (1999). Management 
assessment methods in venture capital: 
an empirical analysis of human capital 
valuation.  Venture Capital: An 
International Journal of Entrepreneurial 
Finance, 1(1), 59‐82.  

Sohl, J. (2005).  The Angel Investor Market 
2004:  The Angel Market Sustains the 
Modest Recovery.  University of New 
Hampshire. 

Stemler, S. (2001). An overview of 
content analysis. Practical Assessment, 
Research & Evaluation, 7(17). Retrieved 
January 19, 2009 from 
http://PAREonline.net/getvn.asp?v=7&n
=17 Stemler, S. (2001).   

Stone, P., Dunphy, D., Smith, M., & 
Ogilvie, D. (1966).  The General Inquirer: 
A Computer Approach to Content 
Analysis.  Cambridge, MA: The MIT 
Press 

Sudek, R. (/2006/2007). Angel investment 
criteria.  Journal of Small Business 
Strategy.  17(2), 89‐103. 

 

 

 



Journal of Small Business Strategy 
 

 
 

78 

Sudek, R. (2009).  The impact of 
entrepreneur personality, business 
attributes, and perceived trustworthiness 
on the Angel investment process.  Paper 
presented at the 2009 USASBE 
Conference, Anaheim, CA. 

Tech Coast Angels (2009).  Webpage, 
accessed January 2, 2009 at 
http://www.techcoastangels.com/Public/C
ontent.aspx?id=1ee6dc43‐cc98‐443c‐8113‐
349470a459d1 

Tyebjee, T., & Bruno, A. (1984). A model 
of venture capitalist investment activity. 
Management Science, 30, 1051–1056. 

Van Osnabrugge, M., & Robinson, R.  
(2000).  Angel Investing: Matching Start‐
up Funds with Start‐up Companies:  The 
Guide for Entrepreneurs, Individual 
Investors, and Venture Capitalists.  San 
Francisco: Jossey‐Bass. 

White, R., Hertz, G. & D. Souza, R. 
(2009).  Modeling the early screening 
state of private equity decisions, paper 
presented at the 2009 USASBE 
Conference, Anaheim, CA.  

Wiltbank, R. (2005). Investment 
practices and outcomes of informal 
venture investors. Venture Capital, 7(4), 
343‐357 

 

 

 

 

Wiltbank, R., & Boeker, W.  (2007).  
Returns to Angel Investors in Groups, 
Report for the Angel Capital Assoc., 
available at 
http://www.angelcapitalassociation.org/
dir_downloads/resources/RSCH_‐
_ACEF_‐
_Returns_to_Angel_Investor_in_Groups.
pdf 

Wong, (2002).  Angel financing, working 
paper, accessed September 1, 2008 at      
http://www.angelcapitalassociation.org/
dir_downloads/resources/Research_And
rewWong.pdf 

Zacharakis, A., & Meyers, G. (2000). The 
Potential for actuarial decision models: 
Can they improve the venture capital 
investment decision?  Journal of Business 
Venturing, 15, 323‐346. 

Zacharakis, A., & Shepard, D. (2001).  
The nature of information and 
overconfidence on venture capitalists’ 
Decision making.  Journal of Business 
Venturing, 16, 311‐332. 

Craig S. Galbraith is a Professor of 
Entrepreneurship and Technology 
management at the University of North 
Carolina Wilmington.   He teaches in the 
areas of entrepreneurship, business 
valuation, technology management, and 
competitive and global strategy.  He has 
published 6 books, and over 100 
academic papers in top journals.   As an 
entrepreneur, he has been the co‐
founder of a California‐based 
biotechnology firm, and is currently the 
Vice‐President of Commercialization for 



Volume 20, Number 2 Fall/Winter 2009 
 

 
 

79 
 

Horizon Vision Research, Inc., a start‐up 
medical instruments R&D firm.  

Alex F. DeNoble is a Professor and 
Chair of the Management Department in 
the College of Business at San Diego 
State University (SDSU). His primary 
areas of expertise include 
entrepreneurship and corporate 
innovation, technology 
commercialization and strategic 
management. He has conducted 
research in these areas and has taught 
related classes in the University's 
undergraduate, graduate and executive 
MBA programs. 

Sanford (Sandy) B. Ehrlich is the 
QUALCOMM Executive Director for the 
Entrepreneurial Management Center at 
San Diego State University where he is 
also an Associate Professor of 
Management. His teaching, research, 
and consulting is focused on 
entrepreneur‐investor relations, 
leadership and organization design of 
rapidly growing technology companies, 
and business plan development. He is a 
Director of Amistar (AMTA) 
Corporation, Deep Sky Software, Inc., 
and formerly a Director of The Healthy 
Back Store. 



Reproduced with permission of the copyright owner. Further reproduction prohibited without permission.