Lecture Notes in Computer Science

Acknowledgements 

The first author (HF) was supported by a Grant-in-Aid for Scientific Research (C), 

No. 19500259, from the Ministry of Education, Culture, Sports, Science and 

Technology of the Japanese Government. The second author (KA) was partially 

supported by Grant-in-Aid for Scientific Research on Priority Areas 17022012 from 

the Ministry of Education, Culture, Sports, Science, and Technology, the Japanese 

Government. The third author (IT) was partially supported by a Grant-in-Aid for 

Scientific Research on Priority Areas, No. 18019002 and No. 18047001, a Grant-in-

Aid for Scientific Research (B), No. 18340021, Grant-in-Aid for Exploratory 

Research, No. 17650056, a Grant-in-Aid for Scientific Research (C), No. 16500188, 

and the 21

st

 Century COE Program, Mathematics of Nonlinear Structures via 

Singularities. 

 Corticopetal Acetylcholine: Possible Scenarios on the Role for Dynamic Organization 

177 

References 

1.  Behrendt, R.-P., Young, C.: Hallucinations in schizophrenia, sensory impairment, and 

brain disease: A unifying model. Behav. Brain Sci. 27, 771–787 (2004) 

2.  Buschman, T.J., Miller, E.K.: Top-down Versus Bottom-Up Control of Attention in the 

Prefrontal and Posterior Parietal Cortices. Science 315, 1860–1862 (2007) 

3.  Buzsaki, G.: Rhythms of the Brain. Oxford University Press, Oxford (2006) 

4.  Christophe, E., Roebuck, A., Staiger, J.F., Lavery, D.J., Charpak, S., Audinat, E.: Two 

Types of Nicotinic Receptors Mediate an Excitation of Neocortical Layer I Interneurons. J. 

Neurophysiol. 88, 1318–1327 (2002) 

5.  Dehaene, S., Changeux, J.-P.: Ongoing Spontaneous Activity Controls Access to 

Consciousness: A Neuronal Model for Inattentional Blindness. PLoS Biology 3, 910–927 

(2005) 

6.  Detari, L.: Tonic and phasic influence of basal forebrain unit activity on the cortical EEG. 

Behav. Brain. Res. 115, 159–170 (2000) 

7.  Fries, P., Reynolds, J.H., Rorie, A.E., Desimone, R.: Modulation of Oscillatory Neuronal 

Synchronization by Selective Visual Attention. Science 291, 1560–1563 (2001) 

8.  Fujii, H., Aihara, K., Tsuda, I.: Functional Relevance of ‘Excitatory’ GABA Actionsin 

Cortical Interneurons: A Dynamical Systems Approach. J. Integrative Neurosci. 3, 183–

205 (2004) 

9.  Gil, Z., Connors, B.W., Yael Amitai, Y.: Differential Regulation of Neocortical Synapses 

by Neuromodulators and Activity. Neuron 19, 679–686 (1997) 

10.  Golmayo, L., Nunez, A., Zaborsky, L.: Electrophysiological Evidence for the Existence of 

a Posterior Cortical-Prefrontal-Basal Forebrain Circuitry in Modulating Sensory Responses 

in Visual and Somatyosensory Rat Cortical Areas. Neuroscience 119, 597–609 (2003) 

11.  Gulledge, A.T., Stuart, G.J.: Cholinergic Inhibition of Neocortical Pyramidal Neurons. J. 

Neurosci 25, 10308–10320 (2005) 

12.  Gulledge, A.T., Susanna, S.B., Kawaguchi, Y., Stuart, G.J.: Heterogeneity of phasic 

signaling in neocortical neurons. J. Neurophysiol. 97, 2215–2229 (2007) 

13.  Hasselmo, M.E., McGaughy, J.: High acetylcholine sets circuit dynamics for attention and 

encoding; Low acetylcholine sets dynamics for consolidation. Prog. Brain Res. 145, 207–

231 (2004) 

14.  Hsieh, C.Y., Cruikshank, S.J., Metherate, R.: Differential modulation of auditory 

thalamocortical and intracortical synaptic transmission by cholinergic agonist. Brain 

Res 880, 51–64 (2000) 

15.  Jones, B.E., Muhlethaler, M.: Cholinergic and GABAergic neurons of the basal forebrain: 

role in cortical activation. In: Lydic, R., Baghdoyan, H.A. (eds.) Handbook of Behavioral 

State Control, pp. 213–233. CRC Press, London (1999) 

16.  Kay, L.M., Lancaster, L.R., Freeman, W.J.: Reafference and attractors in the olfactory 

system during odor recognition. Int. J. Neural Systems 4, 489–495 (1996) 

17.  Kenet, T., Bibitchkov, D., Tsodyks, M., Grinvald, A., Arieli, A.: Nerve cell activity when 

eyes are shut reveals internal views of the world. Nature 425, 954–956 (2003) 

18.  Kuczewski, N., Aztiria, E., Gautam, D., Wess, J., Domenici, L.: Acetylcholine modulates 

cortical synaptic transmission via different muscarinic receptors, as studied with receptor 

knockout mice. J. Physiol. 566.3, 907–919 (2005) 

19.  Loewi, O.: Ueber humorale Uebertragbarkeit der Herznervenwirkung. Pflueger’s Archiven 

Gesamte Physiologie 189, 239–242 (1921) 

20.  McCormick, D.A., Prince, D.A.: Mechanisms of action of acetylcholine in the guinea-pig 

cerebral cortex in vitro. J. Physiol. 375, 169–194 (1986) 

178 

H. Fujii, K. Aihara, and I. Tsuda 

21.  Mesulam, M.M., Mufson, E.J., Levey, A.I., Wainer, B.H.: Cholinergic innervation of 

cortex by the basal forebrain: cytochemistry and cortical connections of the septal area, 

diagonal band nuclei, nucleus basalis (substantia innominata), and hypothalamus in the 

rhesus monkey. J. Comp. Neurol. 214, 170–197 (1983) 

22.  Metherate, R., Charles, L., Cox, C.L., Ashe, J.H.: Cellular Bases of Neocortical 

Activation: Modulation of Neural Oscillations by the Nucleus Basalis and Endogenous 

Acetylcholine. J. Neurosci. 72, 4701–4711 (1992) 

23.  Niebur, E., Hsiao, S.S., Johnson, K.O.: Synchrony: a neuronal mechanism for attentional 

selection? Curr. Opin. Neurobiol. 12, 190–194 (2002) 

24.  Perry, E.K., Perry, R.H.: Acetylcholine and Hallucinations: Disease-Related Compared to 

Drug-Induced Alterations in Human Consciousness. Brain Cognit. 28, 240–258 (1995) 

25.  Sarter, M., Gehring, W.J., Kozak, R.: More attention should be paid: The neurobiology of 

attentional effort. Brain Res. Rev. 51, 145–160 (2006) 

26.  Sarter, M., Parikh, V.: Choline Transporters, Cholinergic Transmission and Cognition. 

Nature Reviews Neurosci. 6, 48–56 (2005) 

27.  Treisman, A.M., Gelade, G.: A feature-integration theory of attention. Cognit. Psychol. 12, 

97–136 (1980) 

28.  Tsuda, I.: Chaotic Itinerancy as a Dynamical Basis of Hermeneutics of Brain and Mind. 

World Future 32, 167–185 (1991) 

29.  Turrini, P., Casu, M.A., Wong, T.P., De Koninck, Y., Ribeiro-da-Silva, A., And Cuello, 

A.C.: Cholinergic nerve terminals establish classical synapses in the rat cerebral cortex: 

synaptic pattern and age—related atrophy. Neiroscience 105, 277–285 (2001) 

30.  Varela, F., Lachaux, J.-P., Rodriguez, E., Martinerie, J.: The Brainweb: Phase 

synchronization and large-scale integration. Nature Rev. Neurosci. 2, 229–239 (2001) 

31.  Wenk, G.L.: The Nucleus Basalis Magnocellularis Cholinergic System: One Hundred 

Years of Progress. Neurobiol. Learn. Mem. 67, 85–95 (1997) 

32.  Womelsdorf, T., Schoffelen, J.M., Oostenveld, R., Singer, W., Desimone, R., Engel, A.K., 

Fries, P.: Modulation of neuronal interactions through neuronal synchronization. 

Science 316, 1578–1579 (2007) 

Tracking a Moving Target Using Chaotic Dynamics in a

Recurrent Neural Network Model

Yongtao Li and Shigetoshi Nara

Graduate School of Natural Science and Technology, Okayama University,

3-1-1 Tsushima-naka, Okayama 700-8530, Japan

[e-mail]

Abstract. Chaotic dynamics introduced in a recurrent neural network model is

applied to controlling an tracker to track a moving target in two-dimensional

space, which is set as an ill-posed problem. The motion increments of the tracker

are determined by a group of motion functions calculated in real time with firing

states of the neurons in the network. Several groups of cyclic memory attractors

that correspond to several simple motions of the tracker in two-dimensional space

are embedded. Chaotic dynamics enables the tracker to perform various motions.

Adaptively real-time switching of control parameter causes chaotic itinerancy

and enables the tracker to track a moving target successfully. The performance of

tracking is evaluated by calculating the success rate over 100 trials. Simulation

results show that chaotic dynamics is useful to track a moving target. To under-

stand them further, dynamical structure of chaotic dynamics is investigated from

dynamical viewpoint.

Keywords: Chaotic dynamics, tracking, moving target, neural network.

1

Introduction

Biological systems have became a hot research around the world because of their excel-

lent functions not only in information processing, but also in well-regulated function-

ing and controlling, which work quite adaptively in various environments. However, we

are yet poor of understanding the mechanisms of biological systems including brains

despite many e

fforts of researchers because enormous complexity originating from dy-

namics in systems is very di

fficult to be understood and described using the conven-

tional methodologies based on reductionism, that is, decomposing a system into parts

or elements. The conventional reductionism more or less falls into two di

fficulties: one

is “combinatorial explosion” and the other is “divergence of algorithmic complexity”.

These di

fficulties are not yet solved.

On the other hand, dynamical viewpoint to understand the mechanism seems to be a

plausible method. In particular, chaotic dynamics experimentally observed in biological

systems including brains[1,2] has suggested a viewpoint that chaotic dynamics would

play important roles in complex functioning and controlling of biological systems in-

cluding brains. From this viewpoint, many dynamical models have been constructed for

approaching the mechanisms by means of large-scale simulation or heuristic methods.

Artificial neural networks in which chaotic dynamics can be introduced has been at-

tracting great interests, and the relation between chaos and functions has been discussed

M. Ishikawa et al. (Eds.): ICONIP 2007, Part I, LNCS 4984, pp. 179–188, 2008.

c Springer-Verlag Berlin Heidelberg 2008

180

Y. Li and S. Nara

[9,10,11,12]. As one of those works, Nara and Davis found that chaotic dynamics can

occur in a recurrent neural network model(RNNM) consisting of binary neurons [3],

and they investigated the functional aspects of chaos by applying it to solving a mem-

ory search task with an ill-posed context[7].

To show the potential of chaos in controlling, chaotic dynamics was applied to solv-

ing two-dimensional mazes, which are set as ill-posed problems[8]. Two important

points were proposed. One is a simple coding method translating the neural states into

motion increments , the other is a simple control algorithm, switching a system param-

eter adaptively to produce constrained chaos. The conclusions show that constrained

chaos behaviours can give better performance to solving a two-dimensional maze than

that of random walk. In this paper, we develop the idea and apply chaotic dynamics to

tracking a moving target, which is set as another ill-posed problem.

Let us state about a model of tracking a moving target. An tracker is assumed to

move in two-dimensional space and track a moving target along a certain trajectory by

employing chaotic dynamics. the tracker is assumed to move with discrete time steps.

The state pattern is transform into the tracker’s motion by the coding of motion func-

tions, which will be given in a later section. In addition, several limit cycle attractors,

which are regarded as the prototypical simple motions, are embedded in the network. By

the coding of motion function, each cycle corresponds to a monotonic motion in two-

dimensional space. If the state pattern converges into a prototypical attractor, the tracker

moves in a monotonic direction. Introducing chaotic dynamics into the network gener-

ated non-period state pattern, which is transformed into chaotic motion of the tracker

by motion functions. Adaptive switching of a system parameter by a simple evaluation

between chaotic dynamics and attractor’s dynamics in the network results in complex

motions of the tracker in various environments. Considering this point, a simple control

algorithm is proposed for tracking a moving target.

In actual simulation, the present method using chaotic dynamics gives novel per-

formance. To understand the mechanism of better performance, dynamical structure of

chaotic dynamics is investigated from statistical data.

2

Memory Attractors and Motion Functions

Our study works with a fully interconnected recurrent neural network consisting of N

binary neurons. Its updating rule is defined by

S

i

(t

+ 1) = sgn

j

∈G

i

(r)

W

i j

S

j

(t)

(1)

sgn(u)

= +

1 u

≥ 0;

−1 u < 0.

• S

i

(t)

= ±1(i = 1 ∼ N): the firing state of a neuron specified by index i at time t.

• W

i j

: connection weight from the neuron S

j

to the neuron S

i

(W

ii

is taken to be 0)

• r: fan-in number for the neuron S

i

, named as connectivity,(0

< r < N).

• G

i

(r): a spatial configuration set of connectivity r.

Tracking a Moving Target Using Chaotic Dynamics

181

At a certain time t, the state of neurons in the network can be represented as a

N-dimensional state vector S(t), called as state pattern. Time development of state pat-

tern S(t) depends on the connection weight matrix

{W

i j

} and connectivity r, therefore,

in our study, W

i j

are determined in the case of full connectivity r

= N − 1, by a kind of

orthogonalized learning method[7]and taken as follows.

W

i j

=

L

μ=1

K

λ=1

(

ξ

λ+1

μ

)

i

· (ξ

λ

μ

)

†

j

(2)

where

{ξ

λ

μ

|λ = 1 . . . K, μ = 1 . . . L} is an attractor pattern set, K is the number of memory

patterns included in a cycle and L is the number of memory cycles.

ξ

λ†

μ

is the conjugate

vector of

ξ

λ

μ

which satisfies

ξ

λ†

μ

· ξ

λ

μ

= δ

μμ

· δ

λλ

,where

δ is Kronecker’s delta. This

method was confirmed to be e

ffective to avoid spurious attractors[3,4,5,6,7,8].

Biological data show that neurons in brain causes various motions of muscles in

body with a quite large redundancy. Therefore, the network consisting of N neurons is

used to realize two-dimensional motion control of an tracker. We confirmed that chaotic

dynamics introduced in the network does not so sensitively depend on the size of the

neuron number[7].In our actual computer simulation,N

= 400.

Suppose that an tracker moves from the position (p

x

(t)

, p

y

(t)) to (p

x

(t

+ 1), p

y

(t

+ 1))

with a set of motion increments ( f

x

(t)

, f

y

(t)). The state pattern S(t) at time t is a

400-dimensional vector, and we transform it to two-dimensional motion increments by

the coding of motion functions ( f

x

(S(t))

, f

y

(S(t))). In 2-dimensional space, the actual

motion of the tracker is given by

p

x

(t

+ 1)

p

y

(t

+ 1) =

p

x

(t)

p

y

(t) +

f

x

(S(t))

f

y

(S(t)) =

p

x

(t)

p

y

(t) +

4

N

A

· C

B

· D

(3)

where A, B, C, D are four independent N

/4 dimensional sub-space vectors of state pat-

tern S(t). Therefore, after the inner product between two independent sub-space vectors

is normalized by 4

/N, motion functions range from -1 to +1. In our actual simulations,

two-dimensional space is digitized with a resolution 0.02 due to the binary neuron state

±1 and N = 400.

Now, let us consider the construction of memory attractors corresponding to pro-

totypical simple motions. We take 24 attractor patterns consisting of (L

=4 cycles) ×

(K

=6 patterns per cycle). Each cycle corresponds to one prototypical simple motion.

We take four types of motion that one tracker moves toward (

+1, +1), (-1, +1), (-1, -1),

(

+1, -1) in two-dimensional space. Each attractor pattern consists of four random sub-

space vectors A

, B, C and D, where C = A or −A, and D = B or −B. So only A and B

are independent random patterns. From the law of large number, memory patterns are

almost orthogonal each other. Furthermore, in determining

{W

i j

}, the orthogonalized

learning method was employed. Therefore, memory patterns are orthogonalized each

other. The corresponding relations between memory attractors and prototypical simple

motions are shown as follows.

( f

x

(

ξ

λ

1

)

, f

y

(

ξ

λ

1

))

= (+1, +1)

( f

x

(

ξ

λ

2

)

, f

y

(

ξ

λ

2

))

= (−1, +1)

( f

x

(

ξ

λ

3

)

, f

y

(

ξ

λ

3

))

= (−1, −1)

( f

x

(

ξ

λ

4

)

, f

y

(

ξ

λ

4

))

= (+1, −1)

182

Y. Li and S. Nara

3

Introducing Chaotic Dynamics in RNNM

Now let us state the e

ffects of connectivity r. In the case of full connectivity r = N − 1,

the network can function as a conventional associative memory. If the state pattern S(t)

is one or near one of the memory patterns

ξ

λ

μ

, finally the output sequence S(t

+ kK)(k =

1

, 2, 3 . . .) will converge to the memory pattern ξ

λ

μ

. In other words, for each memory

pattern, there is a set of the state patterns, called as memory basin B

λ

μ

. If S(t) is in the

memory basin B

λ

μ

, then the output sequence S(t

+ kK)(k = 1, 2, 3 . . .) will converge to

the memory pattern

ξ

λ

μ

.

It is quite di

fficult to estimate basin volume accurately because of enormous amounts

of calculation for the whole state patterns in N-dimensional state space. Therefore, a

statistical method is applied to estimating the approximate basin volume. First, a suf-

ficiently large amount of state patterns are sampled in the state space. Second, each

sample is taken as initial pattern and updated with full connectivity. Third, it is taken

statistic which memory attractor lim

k

→∞

S(kK) of each sample would converge into.

The distribution of statistic data over the whole samples is regarded as the approximate

basin volume for each memory attractor(see Fig.1). The basin volume shows that al-

most all initial state patterns converge into one of the memory attractors averagely and

there are seldom spurious attractors.

 0

 0.01

 0.02

 0.03

 0.04

 0.05

 0.06

 0

 5

 10

 15

 20

 25

 30

Basin volume

Memory pattern number

Fig. 1. Basin volume: The horizontal axis represents memory pattern number(1-24). Basin 25

corresponds to samples that converged into cyclic outputs with a period of six steps but not any

one memory attractor. Basin 26 corresponds to samples excluded from any other case(1-25). The

vertical axis represents the ratios between the corresponding samples and the whole samples.

Next, we continue to decrease connectivity r. When r is large enough, r

N, mem-

ory attractors are stable. When r becomes smaller and smaller, more and more state

patterns gradually do not converge into a certain memory pattern despite the network

is updated for a long time, that is, attractors become unstable. Finally, when r becomes

quite small, state pattern becomes non-period output, that is, non-period dynamics oc-

curs in the state space. In our previous papers, we confirmed that the non-period dynam-

ics in the network is chaotic wandering. In order to investigate the dynamical structure,

we calculated basin visiting measures and it suggests that the trajectory can pass the

Tracking a Moving Target Using Chaotic Dynamics

183

whole N-dimensional state space, that is, cyclic memory attractors ruin due to a quite

small connectivity [3,4,5,6,7].