Ghostscript wrapper for D:\Digitalizacja\MTS88_t26_z1_4_PDF_artykuly\02mts88_t26_zeszyt_2.pdf


M ECHANIKA
TEORETYCZNA
I S TOS OWANA

2, 26( 1988)

SPECKLE PATTERN CORRELATION  U S I N G  DIGITAL  I M AG E PROCES S ING*

R OLAN D   H Ó F L I N G

WO LF G AN G   OSTE N

Academy  of  Sciences  of  GDR  —  Karl- Marx- Stadt  and Berlin

1. Introduction

Over  the last  15 years, a lot  of work  has been done in the field  of displacement  measu-
rement  by coherent  optics.  One  of the  methods,  beside  holographic  interferometry,  is
speckle  metrology  which  splits  into  Speckle  Pattern  Photography  (SPP)  and Speckle
Pattern  Interferometry  (SPI).  D epending  on the point of view, the measurement  principle
has  been  described  in  different  terms by several  authors  and  the sum  of literature is not
always easy  to be  understood. SPP is sometimes  explained  by  moire terminology  and the
basic  relations  in  SPI originate  from  optical  path length  argumentations  similar  to holo-
graphic  interferometry.  In basic  papers  by  Pedersen and  Yamagushi  [1, 2] speckle  metro-
logy is explained  from a unified  point of view: intensity correlation.

In section 2 we follow  this theory  in order to explain  the measuring principle  of  D igital
Speckle  Pattern  Interferometry  (D SPI) and  give a simulation  example  of it.  The  experi-
mental  arrangement  incorporating  a  digital  image  processing  system  R obotron  A6472
is  discussed  in section  3. The  online  data  pickup  and  correlogram  construction  enable
us  to  proceed  with  automatic evaluation  which is subject  to  chapter 4.

2. Speckle pattern interferometry — an intensity correlation technique

The  basic  relation  in speckle  p at t ern  correlation  m easurem en ts  con n ects  t h e crosscor-
relation function  with th e m u t u a l  intensity  of th e light field  scattered  from  t h e  u n d efo rm ed
(j  — 1)  an d  deform ed  (j =  2)  object,  respectively:

_
1 2  "

an d  h olds  if th e  speckle p at t ern  obeys gaussian statistics  (3). Ij an d  Uj d en o t e t h e in ten sity
an d  am plitude field  of  the  light  an d <...> is  an en sem ble  m ean .  I n th e followin g,  we  con -
sider  SPI only  an d assum e  t h e speckle  position  t o be fixed,  i.e. n o speckle  shift.  Beyond

*  Praca  wygłoszona  na XII  Sympozjum  Doś wiadraalnych  Badań  w Mechanice  Ciał a  Stał ego
Warszawa-  Jadwisin, 1986.



254 JR.  HÓBLING,  W .  OSTEN

this,  the  mean  intensities  </t>  and  <72>  should  be  equal,  thus  we  drop  the  index.  The
mutual  intensity  in  this  case  becomes:

=  </>exp (2)

where It and k are the unit vectors  of the illumination  any observation  direction,  respecti­
vely,  d =  (di,^,  d3y denotes  the  displacement  vector  field  and  X is  the  wavelength  of
the  used  laser  light.  As it is  obvious  from  Eq.  (2) the  correlation,  function  of a  simple
illuminated  and  observed  object  is a constant.  In  common  SPI  setups,  two  statistically
independent speckle patterns  U1 and  U2 are superposed  in order to produce  interferometrie
sensitivity  [4].  We  than  have:

and  with  (1)  and  (2):

</1>2+</2>2+2<71></2>cos(­

«12  ( < / 1 > + < / 2 > ) 2  (4)

Before  we  apply  Eq.  (4)  to  given  interferograms,  we  select  the  case  of maximal  con­
trast  of correlation fringes. This is achieved, if the mean intensities of the interfering speckle
fields  are  equal: </*>  = <72>. With the abbreviation S for  the sensitivity vector we finally
get:

= Y | lot Sd (5)

With  the  proper  choice  of  illumination  and  observation  geometries  the  sensitivity  vector
S  allows  to  separate  displacement  components  lying  both  in  the  object  surface  tangential
plane  and  normal  to  it.

2.1. In­plane sensitivity.  The  scheme  of an  interferometer  capable  of in­plane  displace­
ment  measurements  [4]  is plotted  in figure  1. The object  is illuminated  by two collimated
beams in a symmetric manner. Both beams create independent  speckle patterns that  inter­

Fig.  1.  Double­beam  interferometr  for  in­plane  Fig. 2. Modified  Michelson interferometr  for  out­of
displacement  measurements  plane  displacement  measurements



SPECKLE  PATTERN  CORRELATION 255

fere  on the detector  plane and  produce  a resulting third  pattern.  Assuming parralel  obser­
vation  for  the  field  of  view  Eq.  (6)  yields:

•S =  sin0(l,O,O)T  (7)
and  reveals independence  of  out­of  plane  displacements.  This is a  very important  distinc­
tion to  holographic  interferometry.  From  the spacing  of  correlation fringes  strain may be
obtained  directly  without  solving  systems  of  equations  and  without  knowledge  of  the
absolute  fringe  orders.

2.2.  Out­of  plane sensitivity. There  are  different  interferometrie  setups  realizing  out­of
plane displacement measixrements  [4]. A common method is the superposition  of a smooth
reference  wave with its virtual  source  at  the  centre  of  the  imaging  aperture.  We  describe
two  other  arrangements less complicated  in adjustment.  The first  is shown  in figure  2 and
consists  in  a  modified  Michelson  interferometer.  The  mirrors  have  been  substituted  by
diffus  scattering  object  and  reference  surfaces.  They  are  illuminated  by  the  beam  splitter,
mirror  and  the  reflected  speckle  fields  are  collected  again  to  interfere.  The  sensitivity
vector  becomes:

J-;(0,0/2)T. (8)
In  practical  applications  the  sensitivity  according to  Equ.  (8) may  be too  high  and  there­
fore an interferometer  of reduced sensitivity has been developed  [4]. It is sketched in figure 3.

Fig.  3.  Interferometr  with  reduced  out­of  plane  sensitivity

The  sensitivity  vector  is:

S  =  (sin #x—sin # 2 ,  0,  cos #x — cos #2)
T>

and  in the limit  of streaking  illumination  l#1 (  # 2  ­> ­^­1 we  have:

•

.

(9)

(10)

3.  Correlogram  formation  in  speckle  pattern  interferometry
. . . • . / . • ' '. • . , ' , / " •

• ' . ' . . - • "

In section 2 it  is  shown  which  relations  exist  between the  displacement  vector  field  d
and  the  crosscorrelation  function.  The remaining  question  is, how to measure  that  quan­
tity. Different  methods have been developed  from  several authors  and  fall  into  two cathe­
gories:  optical  and  electronical.  In  optical  processing  the  speckle  fields  of  both  object



256 R.  HOFLING,  W.  OSTEN

states are  recorded on the same photographic plate. Sharp structures of the speckle pattern
itself  or additional  introduced  speckle  structuring  (interference  or shift)  are exploited to
detect  regions  of decorrelation  (i.e. vanishing  structures) by an optical  Fourierprocessing.

Electronic processing allows to bypass the photochemical  process by pattern  recording
with  photoelectric  detectors  (TV pickup  tube,  CCD  matrix,  photodiode  array)  thereby
simplifying  the  procedure  and making  it  more  acceptable  for  application.  The method
is  called  Electronic  Speckle  Pattern  Interferometry  (ESPI).  ESPI is a widely used  tool in
vibration  mode  and  displacement  visualization  for  scientific  and  engineering  purpose
[5, 6]. Visual  fringe  interpretation,  however,  often  yields  qualitative  results  only.

The  reduced  volume  and  cost  of  memory  circuits  recommend  the video  recording
media  used  in ESPI  to be substituted  by more  accurate  digital  image memories.  Conse­
quently,  a  computer  may be used  to perform  both  correlation  of the  stored  speckle pat­
terns  and displacement  extraction  from  the resulting  correlograms  (often  called  "interfe­
rograms").  Some recent papers  [7 ­ 11] present this Digital  Speckle Pattern  Interferometry
(DSPI) and introduce phase shifting  techniques in order to get quantitative  results. Digital
pattern  processing  by  today's  microcomputer  systems  suffers  from  high  processing  time
requirements  for full  TV image  operations  (e.g. 512 x 512  pixel).  Offline  links  to  large
scale  computers  [7] or  reduced  pixel numbers  [8­11] are reported  relaxing the time pro­
blem. We,  instead,  use the fast  pipeline  image processor  that  realizes  image  opertions at
video  rates  (40 ms) by virtue  of the SIMD  principle. It provides  real­time  correlograms
as  well  as  fast  online  evaluation.

The way of getting the desired correlation function  depends on the type of experiments:
dynamic  or static load.  In the case of dynamic  loads  (vibration,  shock) the patterns are
added in the photodetector  already either in a time­average or a double exposition fashion.
The speckle contrast of the resulting pattern is related to the degree of correlation and high
pass  filters  or  level­windowing  techniques  convert  contrast  variations  into  brightness
fringes.

We focus  our interest  on the  static load  case and investigate what  happens in detaile.
The  patterns  of the initial and deformed  state  of the  object  are recorded  successively and
stored  on a video  tape  or in a digital memory.  After  that,  the squared  difference  of the
patterns  IL  and I2 is displayed. If we replace the ensemble mean by a spatial  average (i.e.

Fig.  4.  Example  correlogram  formation
<A) pattern of the underformed state, (B) pattern of the deformed state, (C) squared difference  (A ­ J5)J



SPECKLE  PATTERN  CORRELATION 257

by  eye),  we measure:

and  from  Eq. (5) we  get:

2n
S  d

(11)

(12)

In  order to give an example, figure  4 shows  the  monitor  print of two  different  simulated
speckle patterns  [12] whose  mutual  correlation  is g12 ~  (k—kQ)

2  + (l—10)
2 where  (k0, lQ)

denotes  pixel  locations  in the image  center.  Clear  correlation  fringes  are  visible  is  the
patterns  are subtracted  and squared  according  to Eq.  (11).

4.  Experimental  results in DSP I

The  scheme of our  speckle  pattern  interferometer  is drawn in figure  5. The  expanded
and  coUimated light from  a 30 mW He­Ne laser is directed to a beam  splitter  mirror  thus
illuminating  a 50 mm­spot on the  diffusely  scattering  reference  and  object  surfaces. One
of the  objects is a central  loaded  circular  disk,  sprayed  white. The  reflected  light of both
surfaces  is collected  again  by the  mirror  and  imaged  onto  the pickup  tube  of a  simple
TV  camera.  A numerical  apertur  (NA) =  5.6 has been  found  sufficient  for the camera

Fig.  5.  Schematic  diagram  of  the  experimental  setup

M  ...mirror,  L ... beam  expanding  lenses,  O ...object,  R ... reference  surface,  BS ... beam  splitter

lens, although the resulting  speckles  (typically less than  15 \xm in size) are  not  completely
resolved  by our vidicon.  The  camera  signal  is fed to the  image  processing  system and
digitized  to be  stored in one of the four  512 x 512 pixel  image memories,  each  8 bit  deep.
The  squared  and level  sliced  difference  between  a  stored  reference  frame  and the live



258 R .  H6FLING,  W.  OSTEN

camera  image is presented  on the image  display at video rates  using the fast  pipeline pro­
cessor  K2072  of  the image  processing  system  ROBOTRON  A6472.
If  only  one TV frame  is used for the  reference  pattern  heavy  electronic noise  impairs the
fringe  contrast  (figure  6(A)).  According  to its  origin,  electronic  noise  may be reduced
drastically by frame  averaging. Mostly we use  12­20  TV frames for at least the  reference
pattern.  The  frame  averaging  takes us about 2 seconds but produces much better  correlo­
grams  almost  free  of electronic noise  (figure  6(B)). Up to 50 straight  or 18 closed  circular
fringes  have  been  counted  by eye.  Sometimes  the interferometer  head  has been  changed
(according  to figure  1) in order  to  investigate  in­plane  deformations.  Some  results  with
different  types  of  deformation  are shown  in figure  7.

Fig.  6.  Influence  of  frame  averaging
<A) correlogram  with high electronic noise (single frame),  (B) correlogram  from  frame  everaged speckle  patterns

Fig.  7.  Various  results  for  out­of  plane as  well  as in­plane  deformation  measurements
<A) pure out­of plane tilt, (B) combination of tilt and out­of plane deformation  (as in fig. 6), (C) in­plane deformation of a clamp

with a  hole,  (D) static  in­plane  deformation  of a  tuning­fork



SPECKLE  PATTERN   CORRELATION   259

5.  Automatic  evaluation  of  D SP I  correlograms

F rom  Eq.  (12)  it  is  obvious,  that  displacement  extraction  from  a  correlogram  may
take  advantage  from  extrema  locations  that  coincide  with:

S'd  =  N ^ ,  JV=   0, 1, 2, . . .  (13)

In  order  to  get  automatically  all  points  satisfying  Eq.  (13)  fringe  centres  (or  skeletons)
of  the correlogram  have  to  be found.  Image processing  software  is  available  for  this  pur-
pose  in  holographic  interferometry  [13, 14]  and  we  apply  it  to  D SP I  correlograms.  I t  is
suggested  sometimes  that automatic fringe  centre  determination is  hard  if  n ot  impossible
in  speckle  pattern  interferometry.  We  found  the  line, thinning  algorithm  working  quite
good  if careful  prepocessing  has been applied to the correlogram.

5.1. Preprocessing of correlograms.  Speckles  carry  the  displacement  information  in  D SPI
but after  the correlogram  is  obtained  they  represent  pure  noise.  This  is  a  main  source  of
casual  errors  in  D SPI  [7] and  some  care  should  be  taken  of  suppressing  it.  A  common
method  is  the  application  of  mean filters  (digital  low- pass  filters)  which  are  simple  and
fast  but  they  will  fail  in  critical  applications  because  of  image  blurring.  Examples  are
shown  in figure  7 where different  window  sizes have  been  used. Although  speckles  are n ot
removed  completely  the fringes  tend  to  fuse  already.  That  for,  a  special  geometric  filter,
proposed  by  Crimmins  [15, 16]  has  been  implemented  and  gives  significant  more  clear
fringes  than mean filters  do (figure  8) if the fringes  are dense.

After  correlogram  smoothing  a  shading  correction  is  recommended  for  equalization
of  fringe  modulation.  This  is  done,  deviding  the  correlogram  by  the  mean  intensity  < / )
which  may  to  obtained  from  camera  again  or  be  calculated  from  the  correlogram  by
a  large- window  mean  filter  that  causes  the  fringes  to  blur.  After  the  equalization  step
a  global  threshold  may  be found  for  image  binarization.  Two  examples  are  presented  in
figure  9.

5.2  Skeleton based  evaluation.  Binary  fringes  are the starting  point for  line thinning  algo-
rithms that produce a fringe  skeleton  (3 -  10 s) as it is visible in figure  10.
Such  skeleton  may  be  improved  by  both  automatic  filter  algorithms  (tip  removement)
or  man- machine interactions  (gap  closing).  D oing  so,  skeletons  of- proper  accuracy  have
been  extracted.  F or  an  example  the  skeleton  of  figure  9(C)  is  plotted  in  figure  11(A).
The  displacement  values  have  been  evaluated  giving  a  standard  deviation  from  a  fitted
curve  of  a

ę
  =   12°  corresponding  to  a  casual  displacement  error  of  2<7j  =   43  nm.  The

displacement  field  calculation  proceeds  with  semiautomatic  fringe  order  asignment  and
interpolation  of  broken  fringe  orders  on  a  regular  mesh  (32 x 32  nodal  points).  The
final  plotting  of  the  experimental  result  (1024  points)  appears  after  altogether  2 - 3  min
and  the pseudo- 3D- plot  of  the  displacement field  corresponding  to  the skeleton  in  figure
11 (A)  is  printed  in  figure  11(B).





SPECKLE  PATTERN CORRELATION 261

1
\
j

a

n
p
1

- 1
1 \
1 )c
L

:'3

L

' • ]
' 1
v jI

>••

r
Fig.  10. Skeleton  extraction  by line  thinning

(A) binary  image of fig.  7(A), (B) line thinning  algorithm  apllicd to  (A)

Fig.  11. Skeleton  of fig. 9 ( Q and plotting  of the  displacement  field

6.  References

1.  H. M.  PEDERSEN,  Optica  Acta,  Vol. 29, 105­118  (1982)
2.  I. YAMAGUSHI,  Progr.  in Optics,  Vol. XXII,  272 ­ 339  (1985)
3.  J. W.  GOODMAN, in Laser Speckle and Related  Phenomena by J. C. Dainty  (ed.), Springer, 1984
4.  R.  JONES, C. WYKES, Holographic and Speckle Interferometry, Cambridge University  Press, 1983
5.  J. N. BUTTERS, in The Engineering use of coherent  Optics by E. R. Robertson  (ed.),  Cambridge, 1976
6.  S.NAKADATE,  H.  SAITO,  Appl.  Optics,  Vol.  24,  2171 ­80  (1985)

7.  O. J.  LOKBERG,  G. A.  SLETTMOEN,  Proc.  SPIE,  Vol. 398,  295 ­ 9  (1983)

8.  K.  CREATH,  Appl.  Optics,  Vol. 24,  3053 ­ 8  (1985)
9.  K.  CREATH,  Topical  Meeting  on Mach.  Vision  THB 4/1 ­ 4  (1985)

10.  K.  CREATH,  G. A.  SLETTMOEN, J.  Opt.  Soc.  Am.  A  Vol.  2,  1629 ­ 36

11.  D.W.  ROBINSON, D.  C.  WILLIAMS,  Opt.  Commun.  Vol.  57,  2 6 ­ 3 0  (1986)

12.  R.  HOFLING,  W.  OSTEN,  (to  be  published  in  Optica  Acta)

13.  N. EICHHORN et al., Acta  Polytech.  Scand.  Appl.  Phys.  Ser. N o . PHY 150, 88 ­ 91  (1985)
14.  J.  SAEDLER  et al., Bild  und  Ton, Vol. 39, 140­4,  165­73  (1986)
15.  T. R.  CRIMMINS,  Appl.  Optics,  Vol. 24, 1439 ­ 43  (1985)
16.  T. R.  CRIMMINS, Opt.  Engng.  Vol.  25,  651 ­ 4  (1986)



262  R.  H OF LI N G ,  W.  OSTEN

P  e 3 io  M  e

KOPPEJWIJH fl  CnEKJI- KAPTHH   U PH   IIPH MEH EH H H   ITH<I>POB0H   OBPABOTKH
OBPA3OB

B  p a S o r e  n p efld aBJieH o  c n e wie  KHTep(J>epoMeTpmo n p n  ncnojiB3oBaH nn  CBOH CTB  I (H (J)P OBOH   06-
paSo T io t  o 6pa3o B  ( D igit a l  speckle  p a t t e r n  in t e r fe r o m e t r y) .  B  accjieflOBaH H ax  KcnonB3OBaHo  ciacTeMy
R O B O T R O N   A  6472  c  BH aimoH - icaMepoft  o  512 x 512 im K cejrax.  H caiefloBaH o  nepeMemeH H H  B  n n o c -
KOC TH   K  nepneH fl^KyjtH pH bie  K  H eił ,

S t r e  s z c z e n i  e

K O R E LAC JA  OBRAZÓW  P LAM KOWYC H   P R Z Y  U Ż YC IU   TE C H N I KI  CYF ROWEJ

W  pracy  przedstawiono  interferometrię   plamkową   wykorzystują c  wł aś ciwoś ci  cyfrowego  przetwo-
rzenia  obrazów  (D igital  speckle  pattern interferometry).  Badania  wykonano  przy  wykorzystaniu  systemu
R O BO T R O N   A  6472  wyposaż onego  w  vidicon- kamere  o  512x512  pixelach.  Badano  przemieszczenia
w pł aszczyź nie i  przemieszczenia  o kierunku  normalnym do  pł aszczyzny.

Praca  wpł ynę ł a  do  Redakcji  dnia  1  czerwca  1987  roku.