Lecture Notes in Computer Science

3.2   Simulation Results for Ambiguous Figures – A Case of Rubin’s Vase 

We carried out the simulations of the model with other ambiguous figures including 

variations of the Necker cube, the Rubin’s vase (Fig.3(b)), and others. As an example,  

 

 

Fig. 4. The simulation results for ambiguous block figures. Bottom figures are the stimuli. 

① 

and 

② show attending locations. Black and white bars exhibit the activities of BO-left  and 

BO-right model cells, respectively. A set of three bars corresponds to three attention conditions; 

no attention (left), attendance to the area 

①(middle) and to the area ②(right). Arrows show the 

magnitude of the attention modulation. 

 

Fig. 5. The procedure of the psychophysical experiment. The bottom panel presents the 

without-attention condition. The top panel shows the with-attention task. Three subjects were 

asked to report which object (left or right) is perceived as figure with 2AFC paradigm for 80 

trials/ condition. 

 Effect of Spatial Attention in Early Vision for the Modulation of the Perception of BO 

355 

 

Fig. 6. The measured human responses with the conventions same as Fig.5. Error bars indicate 

standard error. 

 

Fig. 7. The simulation result for the Rubin’s vase. These bars show the proportion of BO-

selective neurons. “X” icons indicate the location of the attention. If BO-left neurons are more 

active than BO-right neurons at the location, the vase is considered as figure. The activities of 

BO model cells are altered when attended location is altered accordingly. 

we show the results for the Rubin’s vase in this section. When we view the Rubin’s 

vase, we can perceive two objects alternatively, a vase and facing two faces, but we 

cannot perceive these two objects simultaneously [2]. If the direction of figure is the 

left with response to the border (indicated by a small circle in Fig.3(b)), we will 

perceive a vase. If the right, we will perceive a face. 

The simulation results for the Rubin’s vase are shown in Fig.7. The results show 

that BO-left model cells are dominant regardless of the location of spatial attention. 

However, more than 10% of the BO model cells altered its sign when the attended 

location is altered accordingly: when attention is applied to the center of the image 

356 

N. Wagatsuma, R. Shimizu, and K. Sakai 

(Fig.7 (b)), the activities of BO-left cells are increased. In contrast, when attended to 

the right on the face (Fig.7(c)), the activities of BO-right cells are facilitated, as 

compared to the without-attention case (Fig.7 (a)). The early-level processing does 

not seem to evoke a full switch of figure in meaningful figures including the Rubin’s 

vase, because higher-level vision might influence the processing of human face, as 

described further in Discussion. The results show that the spatial attention changes the 

activities of BO-selective cells in the direction consistent with human perception, 

suggesting an importance of the modulation in early vision. 

4   Discussion 

Our proposed hypothesis is that spatial attention alters contrast gain in early vision 

then the increased contrast modifies the activities of BO selective neurons, which may 

lead to the switch of figure/ground. We constructed the network model that consists 

of three modules each corresponding to V1, V2 and PP cortical area, together with the 

mutual connections between them including both bottom-up and top-down pathways, 

but excluding PP to V2.  

We tested the model with ambiguous, random-block figures to examine whether 

the model reproduces the attention modulation in human perception. The model 

shows good agreement with the human psychophysics in which subjects tended to 

perceive attended objects as figure. Our model reproduced this tendency of human 

perception: the activities of BO model cells are flipped according to the location of 

spatial attention. This result suggests that spatial attention is a crucial factor for the 

modulation of figure direction, and that gain control in early vision plays an important 

role for the modulation.  

Next, we tested the model with the Rubin’s vase, one of the most famous 

ambiguous figures. Although our model showed a modulation in the activities of BO 

model cells depending on the attention, the model did not exhibit the flip of BO to the 

face side. It has been suggested that the processing of human face is carried out by  

the specialized neurons in higher visual areas such as IT and TEO. We suppose that 

the feedback from such higher visual areas might modulate significantly BO neurons 

to flip the perception to the face. It should be noted that the some degree of 

modulation from covert spatial attention still works with this particular example, 

perhaps because this pathway through early vision is automatic and independent of 

object familiarity or meaning.  

Our model predicts that spatial attention alters figure direction through the change 

in contrast sensitivity. However, not only spatial attention but also feature-based 

attention or object-based attention should have considerable effect for the human 

perception in the determination of figure direction [12, 13]. It is expected to take into 

account feature-based attention to further understand the perception of figure 

direction. Specifically, application of the model to a number of ambiguous stimuli 

proposed by psychophysicists may be valued to test quantitatively the relation of 

feature and BO determination. Our results provide essential and testable predictions 

for the fundamental problems of figure/ground segregation and attention. 

 Effect of Spatial Attention in Early Vision for the Modulation of the Perception of BO 

357 

References 

1.  Posner, M.I.: Orientating attention. The Quarterly Journal of Experimental Psychology 32 

(1980) 

2.  Nicholas, W.: The art and science of visual illusions (1982) 

3.  Carrasco, M., Ling, S., Read, S.: Attention alters appearance. Nature Neuroscience 7, 308–

313 (2004) 

4.  Lee, D.K., Itti, L., Koch, C., Braun, J.: Attention activates winner-take-all competition 

among visual filters. Nature Neuroscience 2, 375–381 (1999) 

5.  Sakai, K., Nishimura, H.: Surrounding suppression and facilitation in the determination of 

border ownership. Journal of Cognitive Neuroscience 18, 562–579 (2006) 

6.  Nishimura, H., Sakai, K.: The computational model for border-ownership determination 

consisting of surrounding suppression and facilitation in early vision. Neurocomputing 65–

66, 77–83 (2005) 

7.  Deco, G., Lee, T.S.: The role of early visual cortex in visual integration: a neural model of 

recurrent interaction. European Journal of Neuroscience 20, 1089–1100 (2004) 

8.  Zhou, H., Friedma, H.S., von der Heydt, R.: Coding of border ownership in monkey visual 

cortex. Journal of Neuroscience 20, 6594–6611 (2000) 

9.  Reynolds, J.H., Chelazzi, L., Desimone, R.: Competitive Mechanism Subserve Attention 

in Macaque Areas V2 and V4. The Journal of Neuroscience 19, 1736–1753 (1999) 

10.  Reynolds, J.H., Pasternak, T., Desimone, R.: Attention Increases Sensitive of V4 Neurons. 

Neuron 26, 703–714 (2000) 

11.  Gerstner., W.: Population dynamics spiking of neuron: Fast transients, asynchronous 

states, and locking. Neural Computation 12, 43–89 (2000) 

12.  Serences, J.T., Sxhwarzbach, J., Courtney, S., Golay, X., Yantis, S.: Control of Object-

based Attention in Human Cortex. Cerebral Cortex 14, 1346–1357 (2004) 

13.  Mitchwll, J.F., Stoner, G.R., Reynolds, J.H.: Object-based attention determines dominance 

in binocular rivalry. Nature 429, 410–413 (2004) 

M. Ishikawa et al. (Eds.): ICONIP 2007, Part I, LNCS 4984, pp. 358–364, 2008. 

© Springer-Verlag Berlin Heidelberg 2008 

Effectiveness of Scale Free Network to the Performance 

Improvement of a Morphological Associative Memory 

without a Kernel Image 

Takashi Saeki and Tsutomu Miki 

Graduate School of Life Science and Systems Engineering, Kyushu Institute of Technology, 

Kitakyushu 808-0196, Japan 

[e-mail], 

[e-mail] 

http://www.lsse.kyutech.ac.jp 

Abstract. In this paper, we present a new approach of the morphological 

associative memory (MAM) without a kernel image to reduce the network size 

by using the scale free network. The MAM is one of the powerful associative 

memories compared to ordinary associative memories. Weak point of the MAM 

is to need the kernel image which is susceptibility to noise and hard to design. 

We have already presented the MAM without a kernel image as a practical 

model. However the model has a drawback that the perfect recall rate is 

degraded. On the other hand, it has been reported that an introduction of the 

scale free network to associative memories is effective in the improvement of 

the recall rate and the reduction of the network size. We try to reduce the 

network size and improve the recall rate by introducing the scale free network. 

Keywords: Morphological associative memory, scale free, recall rate. 

1   Introduction 

Nowadays, complex networks are studied in various fields. Complex networks are real 

huge networks such as internet, human relationship and joint of brain cells. Complex 

network exhibits small world behavior, scale free behavior, and cluster behavior in 

common. Watts et al. defined small world network in 1998[4]. Recently, feature of 

complex network has triggered lots of researchers in different field [1], [2], [3]. 

On the other hand, neural network model have been studied for implementation of 

human associative memory. An ordinary associative memory is used McCulloch-Pitts 

model. As unused McCulloch-Pitts model, the morphological neural networks were 

derived from the theory of image algebra developed by Ritter (1990) [5]. After that, 

several researchers have applied morphological associative memory networks for 

many applications [7], [8], [9], [10]. Ritter also proposed an associative memory 

network using the concept of morphological neural networks (MAM) (1998) [6]. The 

model was superior to ordinary associative memory models such as Hopfield network 

in terms of calculation amount, memory capacity, and perfect recall rate. 

Unfortunately, the model uses a kernel image so that the model has a disadvantage 

that it was difficult to calculate kernel image. The MAM has two type memory 

 

Effectiveness of Scale Free Network to the Performance Improvement of a MAM 

359 

matrices so that the MAM is necessary two times size of memory matrix compared 

with Hopfield network. 

The MAM without a kernel image is inferior to the noise tolerance compared with 

Ritter’s model and needs two times the size of memory matrices compared with 

ordinary associative memories such as Hopfield network. In this paper, we proposed 

new type MAM which has scale free behavior in order to solve these problems. The 

proposed model shows superior to performance compared with an ordinary fully 

connected MAM in terms of the noise tolerance and the size of memory matrices. 

2   Scale Free Network 

A scale free network consists of nodes and links. The scale free network is satisfied 

with power of law distribution. Power of law distribution is that some of node 

connects many other nodes with a link so that the network has large order coefficient, 

however, the most of all nodes connect few nodes so that the network has small order. 

BA (Barabasi-Albert) model is popular as a scale free network model [2]. The 

complex network which has scale free behavior is designed easily by using the BA 

model. The BA model has a characteristic which is the growth of network, in truth, 

many non-growing networks are exist. Masuda et al. proposed threshold graph which 

is non-growing scale free model [1]. In this model, each node has a weight and 

connections to other nodes with the link when sum of weight of two nodes is greater 

than threshold value. 

Many scale free network designed by the threshold graph have following features; 

 

1.  Degree distribution follows the power of law. 

2.  However network is growing in scale, average of cluster coefficient can not 

decay to zero. 

3.  Cluster coefficient follows the power of law. 

 

These features are effect to reduce the size of memory matrix. 

3   Morphological Associative Memory: MAM 

The MAM has two-stage recall process as illustrated in Fig.1. If it regards two-stage 

recall process as one step, the MAM is an associative memory as same as other 

associative memories. In Fig.1, ‘X’ and ‘Y’ is a pair of the sth stored patterns. ‘Y’ is 

an output pattern for ‘X’ or ‘ X

~

’ which is an input pattern. 

1

st

Pattern 

Recall

2

nd

Pattern 

Recall

X

~

Y

~

Y

1

st

Pattern 

Recall

2

nd

Pattern 

Recall

X

~

Y

~

Y

 

Fig. 1. Recall process of MAM 

360 

T. Saeki and T. Miki 

Normal associative memories use the learning in their memory process. On the 

other hand, the MAM uses calculations employing two different types of memory 

matrices in order to store the patterns. Therefore memory process of the MAM is 

faster than ordinary associative memories.

 

In this paper, the first stage is called “the first recall” and the later is called “the 

second recall”. The recall pattern is given by: 

{

(

)

r

j

ji

n

i

r

j

x

w

y

~

~

1

+

=

∨

=

(

)

r

j

ij

m

j

r

i

y

m

y

~

1

+

=

∧

=

(

)

r

j

ji

n

i

r

j

x

m

y

~

~

1

+

=

∧

=

(

)

r

j

ij

m

j

r

i

y

w

y

~

1

+

=

∨

=

{

or

(2)

(1)

(4)

(3)

{

(

)

r

j

ji

n

i

r

j

x

w

y

~

~

1

+

=

∨

=

(

)

r

j

ij

m

j

r

i

y

m

y

~

1

+

=

∧

=

(

)

r

j

ji

n

i

r

j

x

m

y

~

~

1

+

=

∧

=

(

)

r

j

ij

m

j

r

i

y

w

y

~

1

+

=

∨

=

{

or

(2)

(1)

(4)

(3)

 

where a pair of Eq.(1) and Eq.(2) is equal to that of Eq.(3) and Eq.(4). n and m 

represent the number of total units of an input pattern and an output pattern, 

respectively. 

r

j

x

~

 is jth unit of the corrupted pattern

r

x

and 

r

j

y

~

is an output of the first 

recall (It is also an input of the second recall). 

r

i

y

represents  ith unit of the output 

pattern 

r

y

.  r is the number of stored patterns.

∨

, 

∧

 are  maximum,  minimum 

operator, respectively. Here memory matrices w

ij

 and m

ij

 can be calculated from the 

following equations (5), (6). 

(

)

(

) (

)

(

)

s

j

s

i

j

i

j

i

r

j

r

i

S

r

ij

x

y

x

y

x

y

x

y

w

−

∧

∧

−

∧

−

=

−

=

∧

=

2

2

1

1

1

 

(5) 

(

)

(

) (

)

(

)

s

j

s

i

j

i

j

i

r

j

r

i

S

r

ij

x

y

x

y

x

y

x

y

m

−

∨

∨

−

∨

−

=

−

=

∨

=

2

2

1

1

1

 

(6) 

4   Scale Free Network Type MAM 

Masuda  et al. proposed a new design method of scale free network by using a 

threshold graph. The scale free network employing a threshold graph is designed 

based on fully connected MAM. Geometry of scale free network used threshold graph 

is shown Fig.2. Fig.2 is recited from Reference [1]. Threshold graph processed as 

follows; 

 

Step 1.  n numbers nodes are given. 

Step 2.  A weight w

i

 is assigned to each node. The weight w

i

 is selected randomly 

from probabilistic distributed function f(w).Probability distribution function 

is given by; 

 

x

e

x

f

−

=

)

(

   

  

(7) 

,

 

Effectiveness of Scale Free Network to the Performance Improvement of a MAM 

361 

Step 3.  For node i and j , if it fill the demand of Eq.(8), node i connects j. Step 3 is 

carried out for all nodes. 

 

w

i

+w

j

 

≥ θ       

(8) 

where threshold value θ is real value. 

Here, in this paper, MAM needs a connection to itself for the perfect recall. 

Connection to itself is held certainly. 

 

Fig. 2. Geometry of scale free network [1] 

5   Experimental Results 

In this paper, we investigate the perfect recall rate of the MAM which employs a scale 

free network designed by using the threshold graph with a suitable threshold value. 

Fig.3 shows the stored patterns. Each pattern consists of 10

×

10=100 binary units. 

The unit takes ‘1’ or ‘0’. The ‘1’ represents black and ‘0’ white. The one of the stored 

patterns with a random noise is used as the input pattern. Here, the noise is defined as 

to change ‘1’ to ‘0’ or ‘1’ or ‘0’, and is not over 10% of total units of a pattern. 

 

Fig. 3. Stored Patterns 

362 

T. Saeki and T. Miki 

10000 trials are performed in the simulations. The performance of the noise 

tolerance is estimated for an average of the perfect recall rate and the size of memory  

matrices is estimated for the average of the size of the memory matrices. Here, the 

perfect recall is defined as to recall the stored pattern which corresponds to noise less 

input one. The size of memory matrices is defined as a total size of M and W matrices.