L ' e l a b o r a t o r e e l e t t r o n i c o n e l l o s t u d i o d e l l e s e r i e t e m p o r a l i F i l t r a g g i o n u m e r i c o ai m i n i m i q u a d r a t i (Electronic computer in the study of time series. Numerical filtering to the last squares) E . P A S Q U A L I L A R I - P . B A N D I ( * ) R i c e v u t o il 24 G e n n a i o 1972 RIASSUNTO. — I n q u e s t o l a v o r o v i e n e d i s c u s s a l a o p p o r t u n i t à d i u t i l i z - z a r e il filtraggio n u m e r i c o ai m i n i m i q u a d r a t i n e l l o s t u d i o d e l l e s e r i e t e m p o r a l i . Si d à l a p o s s i b i l i t à ai r i c e r c a t o r i d i p o t e r u t i l i z z a r e q u e s t a t e c n i c a a n c h e s e n z a s p e c i f i c h e c o m p e t e n z e s u l l a p r o g r a m m a z i o n e di c a l c o l a t o r i e l e t t r o n i c i . Il r i c e r c a t o r e p u ò a l t r e s ì r i s t r u t t u r a r e a p i a c e r e u n a p a r t e d e l p r o g r a m m a d e s c r i t t o p e r i n t r o d u r r e c o n d i z i o n i c h e gli p e r m e t t a n o d i s f r u t t a r e c o m p l e - t a m e n t e l a s u a s e r i e di d a t i t e n e n d o c o n t o d e l l e c a r a t t e r i s t i c h e d e i l a b o r a t o r i d a c u i e s s i d a t i p r o v e n g o n o . SUMMARY. — D u r i n g t h i s w o r k w e a r e c o n c e r n e d w i t h t h e e x p e d i e n c e t o m a k e u s e of n u m e r i c a l filtering t o t h e l a s t s q u a r e s i n t h e s t u d y of t i m e s e r i e s . T h e u s e r s c a n u t i l i z e t h i s t e c h n i q u e a l s o w i t h o u t s p e c i f i c k n o w l e d g e a b o u t p r o g r a m m i n g of e l e c t r o n i c c o m p u t e r s . T h e u s e r s c a n a l s o m a n i p u l a t e a t p l e a s u r e a p a r t of p r o g r a m i n o r d e r t o m a k e t h e m o s t of t h e i r d a t a s e r i e s , b e i n g k n o w n t h e f e a t u r e s of t h e l a b o r a t o r i e s w h i c h t h e d a t a c o m e f r o m . 1 . - TECNICA DI CALCOLO E POSSIBILITÀ. Il ricercatore può trovarsi nella condizione di avere una serie di dati molto grande e voler vederne le caratteristiche globali, ad esempio estraendo da essa informazioni relative alla esistenza di parti- colari bande di frequenza. Alcune tecniche numeriche relative a questa impostazione del problema, prendono il nome di filtraggio numeri- co (2. 3. o, 7, s, 9) e n e s o n o n o t e di diverso tipo e con diverse finalità: (*) C e n t r o d i C a l c o l o I n t e r u n i v e r s i t a r i o d e l l ' I t a l i a N o r d - O r i e n t a l e , C a s a l e c c h i o d e l R e n o , B o l o g n a ( I t a l i a ) . l i . P A S Q U A L I L A K I - P . B A N D I gli a u t o r i h a n n o scelto d i e f f e t t u a r e il calcolo dei coefficienti del filtro n u m e r i c o come d e s c r i t t o d a (2) i n t e g r a t o d a i1). Le t e c n i c h e esposte p e r m e t t o n o di e s t r a r r e b a n d e di f r e q u e n z a u t i l i z z a n d o i coefficienti nel n u m e r o m i n o r e possibile e con u n a r i s p o s t a in f r e q u e n z a e s t r e m a m e n t e v i c i n a a quella ideale; n a t u r a l m e n t e essa è in f u n z i o n e del p r e d e t t o n u m e r o di coefficienti. A d ogni modo, poiché il p r o b l e m a a v o l t e i m p o n e u n a s e p a r a z i o n e t r a d u e t i p i d i i n f o r m a z i o n i a l t r i m e n t i indistinguibili, la t e c n i c a s e g u i t a d à q u e i coefficienti che sono s t i m a t i i migliori s o t t o le condizioni richieste. Le relazioni su cui si b a s a il calcolo dei coefficienti sono: — p e r il filtro di t i p o passa-basse f r e q u e n z e s o t t o la condizione c h e la s o m m a dei coefficienti sia 1, si h a : 1 / 2 k + 1 a . 2k — l 2 2N + 1\ 1 Q* = n \ T Sl7l~~T WTT 8t * ] + — p e r il t i p o di filtro p a s s a - b a n d a s o t t o la condizione che la s o m m a dei coefficienti sia 0, si h a : 1 / 2 k + 1 2 k + 1 2k — 1 2fc — 1 \ (Jk = ~ I al 71 — — a i t i — bi ti 1- /Si ti — - — — 71 \ j- l t 1 ! 2 / 2N + 1 2N+1 ti (2.V - 1 ) 1 7 1 t ~ ' S i : T r — p e r il t i p o di filtro p a s s a - a l t e f r e q u e n z e s o t t o la condizione che la s o m m a dei coefficienti sia 0, si h a : 2 ti 2 2N + 1 1 Ho = 1 — _ ^ -rF + /o UT i n . S l 71 71 T (2N + 1) TI T 2N 1 / 2k — 1 2k + 1 \ , 2 2k + l 1 (2k+l)ji T 2N + 1 P e r la discussione sulla scelta d a i m p o r r e alla s o m m a dei coeffi- cienti si r i m a n d a al lavoro (2) già c i t a t o . P e r r e n d e r e accessibile il p r o g r a m m a di calcolo a qualsiasi ricer- c a t o r e per qualsiasi p r o b l e m a di t a l e n a t u r a , gli a u t o r i h a n n o c o n c e n t r a t o in p o c h e schede p a r a m e t r i t u t t e quelle i n f o r m a z i o n i che sono necessarie al calcolatore p e r la elaborazione dei d a t i . Vengono eseguiti in succes- sione: calcolo dei coefficienti del filtro, r i s p o s t a del filtro alle f r e q u e n z e L ' E L A B O R A T O R E E L E T T R O N I C O N E L L O S T U D I O D E L L E S E R I E T E M P O R A L I , E T C . 6 5 interessate, valutazione statistica dei d a t i filtrati sulla base della devia- zione s t a n d a r d dei d a t i in ingresso, calcolo della serie residua e prepa- razione dei dati da graflcare. L a graficazione è ottenibile mediante un programma (5) che f a p a r t e della biblioteca del Centro di Calcolo. I d a t i in ingresso vengono quindi t r a t t a t i a seconda delle opzioni espresse dai ricercatori (v. descrizione delle schede p a r a m e t r i più sotto) sì da costituire un insieme omogeneo: le assenze di dati, inevitabili in lunghe registrazioni per mancanza di f u n z i o n a m e n t o delle apparecchia- t u r e o alterazione delle stesse, possono essere o sostituite col valore della media della serie o con u n a interpolazione lineare f r a gli estremi validi della interruzione (in questo caso la coincidenza f r a il valore estremo finale calcolato e quello reale viene fissato dal ricercatore, in f o r m a per- centuale, a piacere), o con qualsiasi altra f o r m a che il ricercatore ritenga opportuno. I n questo ultimo caso, il ricercatore dovrà però scriversi u n a subroutine a d a t t a col nome di C H I U S e con i p a r a m e t r i descritti più sotto che sostituisca quella inserita nella versione s t a n d a r d del programma. I 6 p a r a m e t r i della subroutine C H I U S devono avere il seguente significato: P t reale - valore dell'ultimo d a t o precedente al gap P 2 reale - valore del primo d a t o successivo al gap P 3 intero - numero d'ordine nella serie elaborata del d a t o il cui valore è P 4 intero - numero d'ordine nella serie elaborata del d a t o il cui valore è P 2 P 5 reale - percentuale d'errore (vedi C H I U S X nella sezione «Uti- lizzazione del programma») P„ reale - p a r a m e t r o di uscita: matrice dei d a t i da sostituire all'in- terno del gap (dimensione massima 500). La subroutine viene c h i a m a t a all'interno del p r o g r a m m a ogni qual volta si incontra un gap. 2 . - D E S C R I Z I O N E T E C N I C A D E L P R O G R A M M A II p r o g r a m m a consta di u n MAIN e (li 5 subroutines, che sono: C O E F I L , S I N T . R D W R . C H I U S . MOVE. K. PASQUALI LARI - P . R A N D I TI MAIN legge i p a r a m e t r i necessari alla elaborazione, li controlla e dispone le c h i a m a t e alle subroutines a seconda dei problemi che sono posti ed infine s o v r a i n t e n d e alle s t a m p e ed alla preparazione dei d a t i su nastro da utilizzarsi per la graficazione. C O E F I L : calcola i coefficienti del filtro numerico con le m o d a l i t à richieste dal ricercatore; e f f e t t u a il controllo sulla somma degli stessi (2) e calcola la risposta del filtro alle frequenze richieste. SI NT: è c h i a m a t a da C O E F I L per il calcolo dei coefficienti del filtro numerico f1). E D W R : p r e p a r a i d a t i della serie temporale che debbono essere ela- b o r a t i : elimina d a t i r i t e n u t i non validi e p r o v v e d e alla so- stituzione degli stessi nelle forme previste. C H I U S : viene c h i a m a t a da R D W R q u a n d o è richiesta u n a interpo- lazione lineare s o s t i t u t i v a di d a t i m a n c a n t i o r i t e n u t i non validi dal ricercatore. L'interpolazione è giudicata o t t i m a q u a n d o la differenza f r a il primo d a t o valido, successivo ai d a t i m a n c a n t i , e quello calcolato dalla interpolazione sono uguali a meno del valore dichiarato dal ricercatore (v. « Utilizzazione del p r o g r a m m a »). MOVE: ripristina le condizioni di lavoro, m a n t e n e n d o la sequenza temporale, in q u a n t o il p r o g r a m m a elabora u n a serie qua- l u n q u e di dati, però a g r u p p i di 2000 per volta. 3 . - U T I L I Z Z A Z I O N E D E L P R O G R A M M A . Le schede contenenti i p a r a m e t r i e t u t t e le altre informazioni necessarie alla elaborazione della serie dei d a t i sono 7 e debbono essere sempre presenti. Le prime 4 sono relative al calcolo dei coefficienti del filtro e alla risposta del filtro alle frequenze di prova. Le ultime 3 sono legate al processo di elaborazione dei dati. Altre schede sono richieste se si verifica la condizione G A P I X ^ 0 come è scritto nella n o t a relativa a questo p a r a m e t r o nella 5a scheda p a r a m e t r i . L ' E L A B O R A T O R E E L E T T R O N I C O N E L L O S T U D I O D E L L E S E R I E T E M P O R A L I , E T C . 6 7 l a s c h e d a - d e s c r i z i o n e del t i p o di f i l t r o . F o r m a t o di l e t t u r a (213, 3 F 1 0 . 4 . ) C O L O N N A N O M E D E L L A V A R I A B I L E D E S C R I Z I O N E 1 - 3 K T F s e = 1 filtro p a s s a b a s s o se = 2 filtro p a s s a a l t o se = 3 filtro p a s s a b a n d a •4-6 K C O E n u m e r o dei c o e f f i c i e n t i del filtro. E s s e n d o s i m m e t r i c o , o c c o r r e i n d i c a r e s o l t a n t o q u a n t i t e r m i n i s t a n n o d a u n a p a r t e r i s p e t t o al t e r - m i n e c e n t r a l e ; se si v u o l e un filtro di 21 t e r - m i n i K C O E s a r à = 10. 7-16 T G v a l o r e del p e r i o d o s u c u i v i e n e f a t t a la finestra. 17-26 T P v a l o r e del p e r i o d o a c u i v i e n e c h i u s a la fine- s t r a ( q u e s t o v a l o r e è ^ 0 solo q u a n d o K T F = 3). 27-36 SG v a l o r e a c u i l a s o m m a dei c o e f f i c i e n t i d e v e e s s e r e u g u a g l i a t a . I n g e n e r a l e : s e K T F = 2 o 3 S G = 0 s e K T F = 1 SG = 1 2 a s c h e d a - d e l i m i t a il c a m p o dei t e s t di f i d u c i a . F o r m a t o = (13) C O L O N N A N O M E D E L L A V A R I A B I L E D E S C R I Z I O N E 1 - 3 N T è il n u m e r o d i p e r i o d i s u c u i si f a il t e s t . 6 8 R . P A S Q U A L I L A R I - P . R A N D I 3 a s c h e d a - e l e n c o di p e r i o d i s u c u i f a r e il t e s t di fiducia. F o r m a t o = ( 8 E 1 0 . 2 ) C O L O N N A N O M E D E L L A V A R I A B I L E D E S C R I Z I O N E 1-11 T v a l o r e dei p e r i o d i su c u i si c h i e d e il t e s t ( q u e s t a s c h e d a a n d r à r i p e t u t a fino a d e s a u r i - m e n t o dei p e r i o d i r i c h i e s t i , m e t t e n d o n e 8 p e r s c h e d a ) . 4 a s c h e d a - c h i u d e l a p r i m a s e r i e di o p e r a z i o n i . E s s a deve e s s e r e u n a s c h e d a s e n z a p e r f o r a z i o n i . 5 a s c h e d a - s c e l t a d e i t i p i d i c a l c o l o e d e v i a z i o n e s t a n d a r d d e l l a s e r i e . F o r m a t o = ( I I , F 1 0 . 0 ) C O L O N N A N O M E D E L L A V A R I A B I L E D E S C R I Z I O N E 1 2-9 I P A R S I G M A se = 1 v i e n e c a l c o l a t a solo l a s e r i e filtrata se # 1 v i e n e c a l c o l a t a a n c h e l a s e r i e r e s i d u a d e v i a z i o n e s t a n d a r d d e l l a s e r i e o r i g i n a l e . 6 a s c h e d a - c o n t i e n e i p a r a m e t r i di l e t t u r a e di e l a b o r a z i o n e d e l l a s e r i e . F o r m a t o = (A3, 212, I I , I X , 12, 2 X , 12, 2 X , 11, I X , F 1 0 . 0 . ) C O L O N N A N O M E D E L L A V A R I A B I L E D E S C R I Z I O N E 1 - 3 4-5 6-7 1 D I S P N N M T d e v e e s s e r e X X X n u m e r o d e i d a t i p e r r e c o r d ( m a x . 80) n u m e r o di u n i t à l o g i c a di l e t t u r a d e i d a t i s e = 5 v e n g o n o l e t t e s c h e d e s e = 66 i d a t i s o n o s u u n filo di q u a l u n q u e n o - m e d i c h i a r a t o s u l l a s c h e d a L G O (v. d e s c r i z i o n e d e l l ' I N P U T p i ù s o t t o ) L ' E L A B O R A T O R E E L E T T R O N I C O N E L L O S T U D I O D E L L E S E R I E T E M P O R A L I , E T C . 6 9 S e g u e 6a s c h e d a . C O L O N N A 10-11 1 4 - 1 5 20-29 N O M E D E L L A V A R I A B I L E I I Z E R X D E S C R I Z I O N E G A P I X (*) se # 0 s e = 0 s e # 0 G A P E X (*) se = 0 se jf 0 C H I U S X se = 0 s e # 0 P E R C X gli zeri d e l l a s e r i e i n I N P U T s o n o r e a l i gli zeri (o l ' a s s e n z a di p e r f o r a z i o n e ) d e l l a s e r i e i n I N P U T s o n o d a t i m a n c a n t i e v e r r a n n o s o s t i t u i t i nel corso del p r o g r a m m a n o n ci s o n o g a p s in l e t t u r a i n d i c a il n u m e r o d i v o l t e c h e si d e b b o n o s a l t a r e d a t i i n l e t t u r a , d a t i c h e v e r r a n n o s o s t i t u i t i s u c c e s s i v a - m e n t e ( m a x . 99) la s u c c e s s i o n e dei d a t i o t t e n u t a d o p o la l e t t u r a e l ' e v e n t u a l e s o s t i t u z i o n e ( G A P I X ^ 0) è c o m p l e t a la s u c c e s s i o n e o t t e n u t a è i n c o m p l e t a , se a d e s e m p i o G A P E X = 1 q u e s t o s i g n i f i c a c h e e s i s t e u n g r u p p o di d a t i fisicamente m a n c a n t i ; la serie l e t t a v a i n t e g r a t a p e r r i p r i s t i n a r e la s e q u e n z a t e m p o r a l e nel g a p v i e n e i n s e r i t a l a m e d i a g e n e r a l e d e l l a s e r i e n e l g a p v e n g o n o i n s e r i t i i d a t i ela- b o r a t i m e d i a n t e i n t e r p o l a z i o n e li- n e a r e u s u f r u e n d o d e l m e t o d o di c h i u s u r a d i f f e r e n z a p e r c e n t u a l e r i c h i e s t a d a l m e t o d o di c h i u s u r a (*) N . B . - A q u e s t i d u e p a r a m e t r i è a s s o c i a t o u n c e r t o n u m e r o di s c h e d e c h e d e v o n o s e g u i r e l a s c h e d a p a r a m e t r i s u c c e s s i v a a q u e s t a . Su c i a s c u n a s c h e d a c o m p a i o n o d u e v a l o r i i n t e r i , c o n f o r m a t o (2110), r a p p r e s e n t a n t i il n u m e r o ( l ' o r d i n e , n e l l a s e q u e n z a t e m p o r a l e d a e l a b o - r a r e , d e i d a t i v a l i d i i m m e d i a t a m e n t e e s t e r n i a d u n g a p s d a i n t e g r a r e . R e l a t i v a m e n t e a d u n G A P I X = 1 c o m p a r i r à u n a s c h e d a c o n t e n e n t e a d e s e m p i o 25 n e l l e c o l o n n e 9-10 e 42 n e l l e c o l o n n e 19-20; q u e s t o signi- f i c a c h e i n l e t t u r a i d a t i d a l 26.ino al 4 1 . i n o n o n s o n o s i g n i f i c a t i v i e d e b b o n o e s s e r e o p p o r t u n a m e n t e s o s t i t u i t i . Q u e s t e s c h e d e d e b b o n o e s s e r e o r d i n a t e p e r v a l o r i s c r e s c e n t i dei l i m i t i d e i g a p s . 7 0 R. PASQUALI LARI - P. RAN DI 7 a s c h e d a - c o n t i e n e il f o r m a t o d i l e t t u r a d e i d a t i . F o r m a t o = ( 8 A 1 0 ) COLONNA NOME DELLA VARIABILE DESCRIZIONE 1 - 8 0 I F O R M v i e n e s c r i t t o il f o r m a t o d i l e t t u r a n e l n o r m a l e l i n g u a g g i o F o r t r a n , c o m p r e s e l e p a r e n t e s i e s t e r n e 4 . - D E S C R I Z I O N E D E L L ' I N P U T E OUTPUT. Il p r o g r a m m a è a disposizione dei ricercatori sotto f o r m a di com- pilato ed è richiamabile m e d i a n t e la seguente sequenza di schede: J O B . R E Q U E S T CIC1. R E W I N D CIC1. COPYN (A, LGO, CIC1) LGO. 7 / 8 / 9 F I L T R O , 6, CIC1 7 / 8 / 9 schede p a r a m e t r i e d a t i 6 / 7 / 8 / 9 L ' u s c i t a su t a b u l a t o è costituita dalle seguenti informazioni: a) tipo di filtro e sue caratteristiche b) coefficienti del filtro c) t e s t di fiducia d) valori della serie filtrata e) deviazione s t a n d a r d della serie filtrata /) serie residua (se richiesta). L ' E L A B O R A T O R E E L E T T R O N I C O N E L L O S T U D I O D E L L E S E R I E T E M P O R A L I , E T C . 7 1 RISPOSTA DE! FILTRI F i g . 1 7 2 R . P A S Q U A L I L A R I - P . R A N D I SERIE RESIDUA / SERIE FILTRATA / SERIE ORIGINALE P i g . 2 Nelle figure 1 e 2 si m o s t r a n o r i s u l t a t i di elaborazioni o t t e n u t e u t i l i z z a n d o il l a v o r o già c i t a t o (5). L ' E L A B O R A T O R E E L E T T R O N I C O N E L L O S T U D I O D E L L E S E R I E T E M P O R A L I , E T C . 7 3 B I B L I O G R A F I A F1) D A L L ' O L I O L . , G U E R R I E R I V . , R A N D I P . , 1 9 6 9 . - Coefficients and frequency response computing for every numerical filter. « L e t t e r e al N u o v o Ci- m e n t o », 1 , p p . 2 7 1 - 2 7 8 . (2) GALLI M., RANDI P . , 1967. - On the design of the optimum numerical filter with a prefixed response. « A n n a l i di G e o f i s i e a », X X , 4. (3) HOLLOWAT J . L . , 1958. - Smoothing and filtering of time series and space fields. « A d v a n c e s in G e o p h y s i c s » A c a d e m i c P r e s s . I n c . N e w Y o r k , 4, p p . 3 5 1 - 3 8 9 . (4) KENDALL M. G., STUART A . , 1969. - The advanced theory of Statistics. C. G r i f f i n a n d C., L o n d o n . ( 5 ) L A N Z A R I N I M . , P A S Q U A L I R . , R A N D I 1 ' . , R O N C H I M . E . , Programma gene- rale di graficazione per un Benson 111 of]¡line (di p r o s s i m a p u b b l i c a - zione). (6) LEE V. W . , 1960. - Statistical theory of communication. « J . W i l e y & S o n s ». N e w Y o r k . (') PEYRET B . G., 1964. - Éléments Calcul des probabilités à usage des ingé- nieurs. E y r o l l e s , P a r i s . (8) ROBIN SON E . A . , 1967. — Statistical Communication and Detection. C. G r i f f i n a n d C., L o n d o n . (9) WAINSTEIN L . A . , ZUBAKOV V. D . , 1962. - Extraction of signals from noise. P r e n t i c e - H a l l , I n c . N e w Y o r k .