Lecture Notes in Computer Science

A Ring Model for the Development of Simple Cells in the 

Visual Cortex 

Takashi Hamada

1

 and Kazuhiro Okada

2

 

1

 National Institute of Advanced Industrial Science and Technology (AIST), Kansai center 

1-8-31, Midorigaoka, Ikeda, Osaka 586-8577, Japan 

[e-mail] 

2

 Murata Machinery, Ltd., Communication Equipment Division 

136, Takeda-Mukaishiro-cho, Fushimi, Kyoto 612-8686, Japan 

[e-mail] 

Abstract. A model was proposed for the development of simple receptive fields 

in the cat visual cortex, based on the empirical evidence that the development is 

due to dark or spontaneous activities in the lateral geniculate nucleus (LGN). We 

assumed that several cortical cells are arranged in a ring, with mutual excitatory 

and inhibitory connections of fixed weights; The cells also receive excitatory 

synapses from LGN cells, whose synaptic weights are initially set to be random 

and then modified according to the Hebb rule as well as to positive correlations 

among nearby LGN cells. Computer simulation showed that the cortical cells 

finally acquire two-dimensional simple receptive fields with their phases gradu-

ally varied along the ring. 

Keywords: Simple cell, development, spontaneous activity, correlation, Hebb 

rule, model. 

1   Introduction 

Cells in the layer 4 of the cat visual cortex have so-called simple receptive fields in 

which several elongated On and Off sub-areas are alternately arranged [1]. If a slit of 

light is positioned on the On sub-area with axes of their elongations aligned each other 

and turned on, or if a slit of light positioned and oriented on the Off sub-area is turned 

off, the cells yield firings. If firings to the stimulations of the On sub-areas are plotted 

positively and those to the Off sub-areas negatively with respect to the positions of the 

slit, the profile of the firings is described with a Gabor function [2]: A sinusoid with a 

phase parameter between 0 and 2

π

 multiplied by a Gaussian. Interestingly, if many 

simple cells are sampled and each of them is best described by a Gabor function, their 

phases are distributed not merely around 0 and 

π

/2, i.e. as those of cosine and sine 

Gabor functions, but uniformly between 0 and 2

π

 [3]. Based on this evidence, we 

have already proposed a neural model for simple receptive fields, where several sim-

ple cells are arranged in a ring with mutual excitatory or inhibitory connections of 

fixed weights [4]; Phases of their receptive fields thereby varied gradually with rota-

tion along the ring.  

220 

T. Hamada and K. Okada 

Meanwhile, such simple receptive fields are known to be basically organized before 

the eyes are naturally opened in kittens [5]. This suggests that the organizing process 

does not require any visual experiences. As a matter of fact, experimental studies 

suggested that the process could be due to some correlations in dark or spontaneous 

firings in the lateral geniculate nucleus (LGN) [6, 7]. A pioneering theoretical study 

[8] assumed the correlation to have the shape of "Mexican hat", i.e. the firings are 

correlated positively among nearby cells and negatively among farther cells. As-

suming correlations of the "Mexican hat" as well as the ring structure, we have theo-

retically shown that cortical cells in the ring, whose synaptic weights from LGN are 

initially set to be random, develop simple receptive fields with their phases gradually 

varied between 0 and 2

π

 along the ring [9]. This study, however, concerned only with 

one-dimensional profiles of receptive fields perpendicular to their preferred orienta-

tions. We here propose a model, again with the ring structure, for the development of 

two-dimensional profiles of simple receptive fields. Computer simulation revealed 

that the cortical cells develop simple receptive fields whose phases gradually vary 

with rotation along the ring, only if the correlation was assumed to have a shape of 

Gaussian as recently shown experimentally in the developing LGN of ferrets [10], but 

fail to develop such receptive fields if the shape of “Mexican hat” is assumed for the 

correlation. 

2   Methods 

2.1   Structure of the Model 

For the sake of simplicity, we consider only a set of cortical cells whose receptive fields 

will be the same as to orientations, ocular dominances and retinal positions, but dif-

ferent as to phases. We assume that several cortical cells Cp, p=1~n, are arranged in a 

ring (the upper part in Fig. 1a) with mutual intra-cortical connection Ip,q (p, q=1~n): 

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛

−

×

=

n

q

p

I

q

p

π

2

cos

,

    for 

q

p

≠

 

=0.1                   for 

q

p

=

 .

 

(1) 

 

The interaction is excitatory between nearby cells and inhibitory between diagonally 

opposed cells on the ring (see 2.4 for detail). The ring structure is meant to be merely 

functional. 

We consider two two-dimensional arrays of LGN cells, one for On center cells and 

the other for Off center cells, each with the size m x m (the lower part in Fig. 1a). Each 

of the On LGN cells yields an excitatory synapse to each of the cortical cells: The 

synapses from the On array to a cortical cell Cp (p=1,…, or n) thereby compose a 

two-dimensional m x m list of weights 

W

on

p

. Similarly 

W

off

p

for Off LGN cells. 

 

 

A Ring Model for the Development of Simple Cells in the Visual Cortex 

221 

 

Fig. 1. The model. a: Cortical cells in a ring with interactions I

p,q

 and arrays of On and Off LGN 

cells. b: Correlated spontaneous activities among LGN cells of the same type (upper) and of the 

different types (lower) in one of the trials with correlations in (2) and (3). 

2.2   Correlation of Spontaneous Activities in LGN 

Although correlations of spontaneous activities have been physiologically studied in 

adult retina of cats [11] and in developing LGN of ferrets [10], those in the developing 

LGN of cats are not yet studied physiologically. We thereby tested two types of func-

tions for the correlations. The function firstly tested for correlations between cells of 

the same type, i.e. among On center cells or among Off center cells, is a Gaussian in (2) 

where r is the separation between the centers of their receptive fields and 

σ

c

 the 

standard deviation of the Gaussian. Thus, spontaneous activities of two LGN cell of the 

same type are assumed to be more positively correlated if their receptive fields are 

closer to each other. 

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

×

−

=

σ

c

r

r

C

same

2

2

2

exp

)

(

 . 

(2) 

Correlation between spontaneous activities of LGN cells of different types, i.e. one On 

center cell and the other Off center cell, is assumed to follow the function (2) multiplied 

by -0.3: 

)

(

3

.

0

)

(

r

r

C

C

same

diff

×

−

=

 . 

(3) 

Thus, LGN cells of different types are negatively and weakly correlated only if their 

receptive fields are close to each other. 

222 

T. Hamada and K. Okada 

The function secondly tested for correlations between LGN cells of the same type 

has the shape of "Mexican hat": 

( )

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

×

−

×

−

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

×

−

=

σ

σ

c

c

r

r

r

C

same

3

2

2

2

2

2

exp

1

.

0

2

exp

)

(

 . 

(4) 

Thus, spontaneous activities of two cell of the same type are positively correlated if r is 

small, but negatively at larger values of r. Correlation between cells of different types is 

assumed to be the function of (4) multiplied by -0.3. 

The developmental process is assumed to be an iteration of many (usually more than 

5000) trials, in which a set of xy coordinates for a point as the center of correlations is 

randomly selected in either of the two LGN arrays and correlated activities spread 

around the point on the array according to the same-type function. Additionally, cor-

related activities spread around a point with the same coordinates on the other array 

according to the different-type function. Fig. 1b explains such correlated spontaneous 

activities in one of the trials, where correlations in (2) and (3) are used. The point is 

incidentally selected at {x, y}={7, 6} on the On array and correlated activities is 

thereby positive on the On array and negative on the Off array. In another trial, the point 

would be differently positioned, correlation on one of the arrays would be incidentally 

positive and that on the other array would be negative. Correlated spontaneous activi-

ties on the On and Off arrays in the i-th trial are named 

spont

on

i

 and 

spont

off

i

, respectively. 

2.3   Initial Synaptic Weights 

At the earlier stage of development, LGN axons are attracted toward a cortical neuron 

presumably according to a gradient of diffusible molecules from the cortical cell [12]. 

Hence, we suppose that the closer to the center of the array a LGN cell is positioned, the 

stronger tends to be the synaptic weight from the LGN cell to one of the cortical cells. 

For describing this tendency, an arbor function A(r) is defined: 

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

×

−

=

σ

a

r

A

r

2

2

2

exp

)

(

 . 

(5) 

It is a Gaussian with respect to distance r of a LGN cell from the center of the array, 

with the standard deviation 

σ

a

. The list of initial synaptic weights 

W

on

q

i 0

=

 

(q=1~n) is thereby assumed to be a list (m x m) of random numbers between 0 and 1, 

Rand, multiplied by A(r): 

 

 

A Ring Model for the Development of Simple Cells in the Visual Cortex 

223 

)

(

0

r

A

Rand

on

q

W

i

×

=

=

 . 

(6) 

Similarly for 

W

off

q

i 0

=

. Fig. 2a shows the 

W

on

q

i 0

=

 for q=1~n in the case n=5. 

2.4   Modification of the Synaptic Weights 

Activity of a cortical cell in a trial is determined by inputs from the LGN cells as well as 

from the other cortical cells in the ring. Inputs from LGN cells to a cortical cell Cq 

(q=1,…, or n) in the i-th trial, 

pre

q

i

, is described by spontaneous activities on the 

On LGN array multiplied by 

W

on

q

i

 plus spontaneous activity on the Off array at the 

i-th trial multiplied by 

W

off

q

i

:  

spont

W

spont

W

pre

off

off

q

on

on

q

q

i

i

i

i

i

×

+

×

=

 . 

(7) 

The final activity of Cp in the i-th trial, 

post

p

i

, is a sum of the inputs from the 

LGN cells plus inputs from the other cortical cells in the ring, which is described as: 

pre

I

post

q

p

i

n

q

q

p

i

×

=

∑

=

1

,

 . 

(8) 

Note that 

I

q

p

,

 (p, q=1~n) is defined so that inputs from LGN are only weakly 

weighted by 0.1, while inputs from the cortical cells are weighted by 1*Cosine function 

(see the equation (1)). Such a design of 

I

q

p

,

 is based on the anatomical evidence that 

the number of synaptic buttons that a layer 4 cell receives from LGN cells occupies 

only a few percent among the number of synapses on its cell body and dendrites [13], 

which means that synaptic influences from the other cortical cells are much stronger 

than those from LGN cells. 

Synapses in the visual cortex are known to be modifiable during development [12]. 

We thereby assume that the synapses are modified due to the Hebb rule: Synaptic 

weight is strengthened when the pre-synaptic activity is correlated with the postsy-

naptic activity and weakened otherwise. Changes in 

W

on

p

 between i-th and i+1-th 

trials are then hypothesized: 

 

224 

T. Hamada and K. Okada 

post

pre

W

W

p i

p

r

A

on

p

on

p

i

i

i

×

×

×

+

=

+

)

(

1

λ

 . 

(9) 

where 

λ

 is a constant which determines the rate of development. Similarly for 

W

off

p

i 1

+

. 

We assume that the total synaptic weights over each cortical cell are conserved: 

W

on

p

i 1

+

+

W

off

p

i 1

+

= const . 

(10) 

Note that On and Off synaptic weights are conserved jointly [14], but not separately as 

in [10]. The formula in (9) is computed under the constraint of (10) in a trial, and the 

trials are iterated until the values converge. 

2.5   Visual Responses 

After the synaptic weights are converged, visual responses of the cortical cells are 

computed. We assume the receptive field of a LGN cell positioned at 

r

0

 on the array 

has a Gaussian form, where 

σ

r

 is the standard deviation of the distribution. 

(

)

⎟⎟

⎟

⎠

⎞

⎜⎜

⎜

⎝

⎛

−

=

×

−

σ

2

2

2

0

exp

0

r

r

r

r

R

 . 

(11) 

A light spot at a position 

r

0

 yields inputs from LGN to Cq, 

previs

q

r

0

, as: 

W

R

W

R

previs

off

q

on

q

q

r

r

r

×

−

×

=

0

0

0

 . 

(12) 

The final visual activity in Cp due to the spot at 

r

0

, 

postvis

p

r

0

,  results from 

I

q

p,

: 

I

previs

postvis

q

p

n

q

q

p

r

r

,

1

0

0

×

=

∑

=

 . 

(13) 

The visual receptive field of cell 

c

p

 is a spatial summation of 

postvis

p

r

0

with 

respect of 

r

0

. 

 

A Ring Model for the Development of Simple Cells in the Visual Cortex 

225 

2.6   Parameters

 

The parameters were set as follows, if not noted otherwise: 

n=5, m=15, 

σ

a

=3, 

σ

c

=0.5, 

σ

r

=1.5, 

λ

=0.1. 

3   Results 

3.1   Development of Simple Receptive Fields 

Each of the subfigures in Fig. 2a is the initial synaptic weight 

W

on

p

 for p=1,…or n 

which are random numbers multiplied by a Gaussian envelop. Note that although these 

subfigures, as well as those in the other columns in the figure, are vertically arranged in 

order of p, they actually constitute a ring structure. Fig. 2b shows the synaptic weights, 

W

on

p

 in the left column and 

W

off

p

 in the right, after 10000 iterations when the 

Gaussians in (2) and (3) are used as the correlation functions. Note firstly that each of 

W

on

p

 and 

W

off

p

 (p=1, …, or n) is segregated, i.e. strengthened in some sub-areas 

and weakened in the other sub-areas. Secondly, the boundaries between the sub-areas  

 

 

 

Fig. 2. a: Initial 

W

on

. b: 

W

on

(left) and 

W

off

(right) after trials with Gaussian correla-

tions. c: Visual receptive fields, resulted from the synaptic weights in b and I

p, q

. Bars are added 

for clarifying translations of the receptive fields along the column. d: Visual receptive fields, 

after trials with the Mexican hat correlations. White arrows are added for clarifying rotations of 

the fields along the column. The subfigures in each of the columns are actually arranged in a ring. 

226 

T. Hamada and K. Okada 

are roughly straight. Thirdly, configuration of the sub-areas is similar between two 

adjacent cells on the ring, but mostly reversed between diagonally opposed cells, so 

that the boundaries gradually translate with rotations along the ring: In the case of  

Fig. 2b, the boundaries gradually translate toward the lower-right along the downward 

direction in the column. Besides, 

W

on

p

 and 

W

off

p

 for the same cell 

C

p

(p=1,…, or 

n), i.e. two subfigures in one of the rows of Fig. 2b, are reversed images each other: 

Sub-areas which are strongly innervated by synapses from On LGN cells are weakly 

innervated by synapses from Off LGN cells, and vice versa. 

Fig. 2c shows visual receptive fields, i.e. distribution of visual responses due to the 

synaptic weights in Fig. 2b as well as due to the intra-cortical interaction 

I

q

p,

, which 

again show the properties described above for 

W

on

p

 and 

W

off

p

. As an example, the 

receptive fields are composed of On and Off sub-areas, each of which corresponds to 

the sub-areas in 

W

on

p

 and 

W

off

p

. Besides, the configurations of the sub-areas 

gradually translate with rotation along the ring.