Lecture Notes in Computer Science

Nonlinear Pattern Identification by  

Multi-layered GMDH-Type Neural Network 

 Self-selecting Optimum Neural Network  

Architecture 

Tadashi Kondo 

School of Health Sciences, The University of Tokushima,  

3-l8-15 Kuramoto-cho, Tokushima 770-8509, Japan 

[e-mail] 

Abstract. A revised Group Method of Data Handling (GMDH)-type neural 

network

 

is applied to the nonlinear pattern identification. The GMDH-type neu-

ral network has both characteristics of the GMDH and the conventional multi-

layered neural network trained by the back propagation algorithm and can 

automatically organize the optimum neural network architecture using the heu-

ristic self-organization method. In the GMDH-type neural network, many types 

of neurons described by such functions as the sigmoid function, the radial basis 

function, the high order polynomial and the linear function, can be used to or-

ganize neural network architecture and neuron characteristics, which fit the 

complexity of the nonlinear system, are automatically selected so as to mini-

mize the error criterion defined as Akaike’s Information Criterion (AIC) or Pre-

diction Sum of Squares (PSS). In this paper, the revised GMDH-type neural 

network is applied to the identification of the nonlinear pattern, showing that it 

is a useful method for this process. 

Keywords: Neural Network, GMDH, Nonlinear pattern identification. 

1   Introduction 

The multi-layered GMDH-type neural networks, which have both characteristics of the 

GMDH [1],[2] and conventional multi-layered neural network, have been proposed on our 

early works [3],[4]. The multi-layered GMDH-type neural network can automatically 

organize multi-layered neural network architectures using the heuristic self-organization 

method and also organize optimum architectures of the high order polynomial fit for the 

characteristics of the nonlinear complex system. The GMDH-type neural network has 

several advantages compared with conventional multilayered neural network. It has the 

ability of self-selecting useful input variables. Also, useless input variables are eliminated 

and useful input variables are selected automatically. The GMDH-type neural network 

also has the ability of self-selecting the number of layers and the number of neurons in 

each layer. These structural parameters are automatically determined so as to minimize the 

error criterion defined as Akaike’s Information Criterion (AIC)

 

[5] or Prediction Sum of 

Squares (PSS)

 

[6], and the optimum neural network architectures can be organized auto-

 

Nonlinear Pattern Identification by Multi-layered GMDH-Type Neural Network 

883 

matically. Because of this feature it is very easy to apply this algorithm to the identifica-

tion problems of practical complex systems.  

In this paper, the revised GMDH-type neural network is applied to the identifica-

tion problem of the nonlinear pattern. It is shown that the revised GMDH-type neural 

network can be applied easily and that it is a useful method for the identification of 

the nonlinear system. 

2   Heuristic Se1f-organization Method[1],[2] 

The architecture of the GMDH-type neural network is organized automatically by 

using the heuristic self-organization method which is the basic theory of the GMDH 

algorithm. The heuristic self-organization method in the GMDH-type neural networks 

is implemented through the following five procedures: 

Separating the Original Data into Training and Test Sets. The original data are 

separated into training and test sets. The training data are used for the estimation of 

the weights of the neural network. The test data are used for organizing the network 

architecture.  

Generating the Combinations of the Input Variables in Each Layer. Many 

combinations of r input variables are generated in each layer. The number of 

combinations is p!/(p-r)!r!. Here, p is the number of input variables and the number of 

r is usually set to two. 

Selecting the Optimum Neuron Architectures. For each combination, the optimum 

neuron architectures which describe the partial characteristics of the nonlinear system 

can be calculated by applying the regression analysis to the training data. The output 

variables (y

k

) of the optimum neurons are called intermediate variables.  

Selecting the Intermediate Variables. The L intermediate variables giving the L 

smallest test errors which are calculated by using the test data are selected from the 

generated intermediate variables (y

k 

).  

Stopping the Multilayered Iterative Computation. The L selected intermediate 

variables are set to the input variables of the next layer and the same computation is 

continued. When the errors of the test data in each layer stop decreasing, the iterative 

computation is terminated. The complete neural network which describes the 

characteristics of the nonlinear system can be constructed by using the optimum 

neurons generated in each layer.  

The heuristic self-organization method plays very important roles for organization 

of the GMDH-type neural network. 

3   Revised GMDH-Type Neural Network Algorithm 

Revised GMDH-type neural network has a common feedforward multilayered archi-

tecture. Figure 1 shows architecture of the revised GMDH-type neural network. This 

neural network is organized using heuristic self-organization method.  

884 T. 

Kondo 

 

X

1

X

2

X

3

X

P

.

 

.

 

.

.

Σ

Σ

f

f

f

f

.

.

Σ

Σ

f

f

f

f

.

.

Σ

Σ

f

f

f

f

.

.

Σ

f

Σ

f

Σ

f

φ

1

φ

2

φ

κ

.

.

.

.

Σ

Σ

Σ

Σ

Σ

Σ

 

Fig. 1. Architecture of the revised GMDH-type neural network 

Procedures for determining architecture of the revised GMDH-type neural network 

conform to the following: 

3.1   First Layer 

      u

j

=x

j 

     (j=1,2,…,p)                                                  (1) 

where x

j 

(j=1,2,…,p) are input variables of the nonlinear system, and p is the number 

of input variables. In the first layer, input variables are set to output variables.    

3.2   Second Layer 

All combinations of r input variables are generated. For each combination, optimum neu-

ron architectures are automatically selected from the following two neurons. Architectures 

of the first and second type neurons are shown in Fig.2. Optimum neuron architecture for 

each combination is selected from the first and second type neuron architectures. 

 

 

 

 

 

 

                                     (a)                                                   (b) 

Fig. 2. Neuron architectures of two type neurons: (a) with two inputs; (b) with r inputs 

Revised GMDH-type neural network algorithm proposed in this paper can select 

optimum neural network architecture from three neural network architectures such as 

sigmoid function neural network, RBF neural network and polynomial neural net-

work. Neuron architectures of the first and second type neurons in each neural net-

work architecture are shown as follows. 

Sigmoid Function Neural Network 

The first type neuron 

Σ

: (Nonlinear function) 

z

k

=w

1

u

i

+w

2

u

j

+w

3

u

i

u

j

+w

4

u

i

2

+w

5

u

j

2

+w

6

u

i

3

+w

7

u

i

2

u

j

+w

8

u

i

u

j

2

+w

9

u

j

3 

- w

0

θ

1       

  (2) 

 

u

i

u

j

f

 

y

k

Σ

 

 

u

1

u

2

u

r

f

y

k

Σ

.

.

 

Nonlinear Pattern Identification by Multi-layered GMDH-Type Neural Network 

885 

f: (Nonlinear function) 

)

(

1

1

k

z

k

e

y

−

+

=

                                                    (3) 

Here, 

θ

1 

=1 and w

i 

(i=0,1,2,

…

,9) are weights between the first and second layer. 

Value of r, which is the number of input variables u in each neuron, is set to two for 

the first type neuron. 

The second type neuron 

Σ

: (Linear function) 

z

k

= w

1

u

1

+w

2

u

2

+w

3

u

3

+ ··· +w

r

u

r

 

- w

0

θ

1 

 ( r

f: (Nonlinear function) 

)

(

1

1

k

z

k

e

y

−

+

=

                                                       (5) 

Here, 

θ

1 

=1 and w

i 

(i=0,1,2,

…

,r) are weights between the first and second layer.  

Value of r, which is the number of input variables u in each neuron, is set to be 

greater than two and smaller than p for the second type neuron. Here p is the number 

of input variables x

i

 (i=1,2,

…

,p). 

Radial Basis Function Neural Network 

The first type neuron 

Σ

: (Nonlinear function) 

z

k

=w

1

u

i

+w

2

u

j

+w

3

u

i

u

j

+w

4

u

i

2

+w

5

u

j

2

+w

6

u

i

3

+w

7

u

i

2

u

j

+w

8

u

i

u

j

2

+w

9

u

j

3 

- w

0

θ

1        

 (6)

 

f: (Nonlinear function) 

)

(

2

k

z

k

e

y

−

=

                                                (7) 

Here, 

θ

1 

=1 and w

i 

(i=0,1,2,

…

,9) are weights between the first and second layer. 

Value of r, which is the number of input variables u in each neuron, is set to two for 

the first type neuron. 

The second type neuron 

Σ

: (Linear function) 

z

k

= w

1

u

1

+w

2

u

2

+w

3

u

3

+ ··· +w

r

u

r

 

- w

0

θ

1 

 ( r

f: (Nonlinear function) 

)

(

2

k

z

k

e

y

−

=

                                                            (9) 

Here, 

θ

1 =1 and wi (i=0,1,2,

…

,r) are weights between the first and second layer.  

Value of r, which is the number of input variables u in each neuron, is set to be 

greater than two and smaller than p for the second type neuron. Here p is the number 

of input variables x

i 

(i=1,2,

…

,p). 

Polynomial Neural Network 

The first type neuron 

Σ

: (Nonlinear function) 

z

k

=w

1

u

i

+w

2

u

j

+w

3

u

i

u

j

+w

4

u

i

2

+w

5

u

j

2

+w

6

u

i

3

+w

7

u

i

2

u

j

+w

8

u

i

u

j

2 

+w

9

u

j

3 

- w

0

θ

1 

    (10)

 

886 T. 

Kondo 

f: (Linear function) 

y

k

= z

k

                                                                  (11) 

Here, 

θ

1 

=1  and w

i 

(i=0,1,2,

…

,9) are weights between the first and second layer. 

Value of r, which is the number of input variables u in each neuron, is set to two for 

the first type neuron. 

The second type neuron 

Σ

: (Linear function) 

z

k

= w

1

u

1

+w

2

u

2

+w

3

u

3

+ ··· +w

r

u

r

 

- w

0

θ

1 

 ( r

f: (Linear function) 

y

k

=z

k  

                                                                   (13) 

Here, 

θ

1 

=1 and w

i 

(i=0,1,2,

…

,r) are weights between the first and second layer.  

Value of  r, which is the number of input variables u in each neuron, is set to be 

greater than two and smaller than p for the second type neuron. Here p is the number 

of input variables x

i 

(i=1,2,

…

,p).  

   Weights  w

i 

(i=0,1,2,

…

) in each neural network architecture are estimated by 

stepwise regression analysis [7] using AIC. 

Estimation Procedure of Weight w

i 

. First, values of z

k

 are calculated for each neural 

network architecture as follows. 

Sigmoid function neural network 

)

1

(

log

'

'

φ

φ

−

=

e

k

z

                                                      (14) 

RBF neural network 

                         

'

log

φ

e

k

z

−

=

                                                        (15) 

Polynomial neural network 

                         z

k

=

φ

                                                                  (16) 

where 

φ

’ is normalized output variable whose values are between zero and one and 

φ

 

is output variable.  

Then weights w

i

 are estimated by stepwise regression analysis [7] which selects 

useful input variables using AIC. Only useful variables in Eq.(2), Eq.(4), Eq.(6), 

Eq.(8), Eq.(10) and Eq.(12) are selected by stepwise regression analysis using AIC 

and optimum neuron architectures are organized by selected useful variables.  

AIC [5] is described at the first type neuron by the following equations: 

                   AIC = n log

e 

S

m

2  

+ 2(m+1) + C                                          (17)

 

∑

=

−

=

n

m

z

n

S

1

2

2

)

(

1

α

α

α

φ

                                                      (18)

 

z

α

= w

1

u

i

+w

2

u

j

+w

3

u

i

u

j

+w

4

u

i

2

+w

5

u

j

2

+w

6

u

i

3

+w

7

u

i

2

u

j

+w

8

u

i

u

j

2 

+w

9

u

j

3 

– w

0

θ

,

 

α

=1,2,…,n                                 (19) 

 

Nonlinear Pattern Identification by Multi-layered GMDH-Type Neural Network 

887 

Here, m is the number of terms in Eq.(19), n is the number of training data and C is a 

constant.  

For each combination, three neuron architectures which are sigmoid function neu-

ron, RBF neuron and polynomial neuron, are generated and L neurons which mini-

mize test error calculated using test data are selected for each neuron architecture.  

From these L selected neurons for each neuron architecture, mean test errors of L 

neurons are calculated. Then, neural network architecture which has minimum mean 

test error is selected as revised GMDH-type neural network architecture from three 

neural network architectures such as sigmoid function neural network, RBF neural 

network and polynomial neural network. After the type of the revised GMDH-type 

neural network architecture is selected, output variables y

k

 of L selected neurons are 

set to input variables of neurons in the third layer. 

3.3   Third and Successive Layers 

In the second layer, optimum neural network architecture is selected from three neural 

network architectures. In the third and successive layers, only one neuron architec-

ture, which is sigmoid function neuron or RBF neuron or polynomial neuron, is used 

for calculation and the same calculation of the second layer is iterated until AIC val-

ues of L neurons with selected neuron architecture stop decreasing. When iterative 

calculation is terminated, neural network architecture is produced by L selected neu-

rons in each layer.  

By using these procedures, the revised GMDH-type neural network self-selecting 

optimum neural network architecture is organized.  

4   An Application to the Nonlinear Pattern Identification 

The GMDH-type neural network is applied to the nonlinear pattern identification and 

the identified results are compared with those obtained by the GMDH algorithm and 

the conventional neural network trained by the back propagation algorithm. 

Figure 3 shows the pattern identified using the GMDH-type neural network. In this 

figure, the values of the white marks are 0.1 and the values of the black marks are 0.9. 

The GMDH-type neural network is identified by using the data of the eight points in 

the corners and the prediction errors are calculated by using the data of the eight other 

points located near the corners.  

 

 

 

Fig. 3. Pattern identified using the GMDH-type neural network 

888 T. 

Kondo 

4.1   Identification Results Obtained Using the GMDH-Type Neural Network 

Input Variables. The x, y and z  co-ordinates are used as the input variables of the 

GMDH-type neural network. The number of input variables is three. 

Number of Selected Neurons. Three neurons are selected in each layer. The 

optimum neuron architectures are selected automatically using the prediction error 

criterion defined as AIC.  

Architecture of the Neural Network. The sigmoid function neural network 

architecture was selected from three kinds of neural network architectures at the 

second layer calculation. The calculation of the GMDH-type neural network was 

terminated in the tenth layer. So the number of layers was eleven. Figure 4(c) shows 

the variation of AIC values. 

Estimation Accuracy. The estimation accuracy was evaluated using the following 

equation. 

∑

=

−

=

8

1

*

1

8

|

|

i

i

i

J

φ

φ

                                                 (20) 

where 

φ

i 

(i=1,2,…,8) were the actual values at the estimation points and 

φ

i

* 

(i=1,2,…,8) were the estimated values of 

φ

i 

 by the GMDH-type neural network. 

Figure 4(a) shows the variation of J

1

 in each layer. From this figure, we can see that 

the values of J

1

 were decreased gradually and converged at the tenth layer. Table 1 

shows the estimation error obtained by the GMDH-type neural network. From this 

table, the maximum estimation error is -0.0020 and so we can see that the estimation 

errors are very small and the GMDH-type neural network is very accurate.