Analytical Mechanics This page intentionally left blank

x

H

=

x

H

H < E

H = E

H = E + D

ds

Fig. 15.1

In other words, ω(E, V ) is the derivative with respect to E of the measure

of the region defined by the inequality H

≤ E. It is easy to express ω(E, V )

through the Hamiltonian. Indeed, at every point of H = E the thickness ds of

the microcanonical set (Fig. 15.1) can be obtained from

∆

=

|∇

X

H

| ds, to first

order in

∆

. In this approximation we therefore have

Ω

(E, V,

∆

) =

∆

H

=E

|∇

X

H

|

−1

d

Σ

(recall Remark 8.12), from which it follows that

ω(E, V ) =

H

=E

|∇

X

H

|

−1

d

Σ

.

(15.21)

The next definition follows naturally from these considerations.

D

efinition 15.7 The microcanonical set is the ergodic statistical set corres-

ponding to a closed isolated system, described by the manifold of constant energy

E =

Σ

E

with measure

dρ(X) =

|∇

X

H

|

−1

d

Σ

,

(15.22)

where d

Σ

denotes the volume element on the manifold

Σ

E

.

Note that the name ‘density of states’ assigned to the function ω can be

misleading (a better name would be microcanonical partition function). In reality

the role of density on

E is played by the function ρ defined by (15.22), which also

626

Statistical mechanics: Gibbs sets

15.5

shows how to compute the average of a function f (X) on the microcanonical set:

f =

1

ω

H

=E

f

|∇H|

d

Σ

.

Remark 15.7

When the Hamiltonian depends only on the momentum variables, H = H(P),

the volume V can be factorised in (15.21) as the result of the integration dQ:

ω(E, V ) = V

N

H

(P )=E

|∇

P

H

|

−1

d

Σ

P

.

(15.23)

We shall see that a correct normalisation of ρ and ω requires the further

division by N !.

Remark 15.8

The procedure leading to the formula (15.22) is rather abstract. We can how-

ever deduce the same formula by reasoning only in mechanical terms, and this

shows the natural relation between the Hamiltonian flow in the space

Γ

of an

isolated system and the density of the microcanonical set. This approach relies

only on the condition of ergodicity. Assume that a partition of

E in subsets of

comparable measure and diameter has been defined. Following the Hamiltonian

flow, if the system is ergodic, all cells are crossed. Thus if we perform a sampling

X

1

, X

2

, . . . , X

n

, . . . of the trajectory along a time sequence, the probability of

finding points of the sample in a specified cell is proportional to the permanence

time in the cell during the Hamiltonian flow. Evidently, the average time of per-

manence in a cell centred at X is proportional to

| ˙X(X)|

−1

. Since ˙

X =

I∇

X

H,

we find that the probability density associated with this cell is proportional to

|∇

X

H(X)

|

−1

.

Remark 15.9

Note that the elastic collisions with the walls and between the particles, which

can be represented as singularities of the Hamiltonian, do not contribute to

(15.21). However, we must stress that the ergodicity of the system is precisely

due to the collisions. Indeed, in the absence of any collision the projection P of

the point X onto the space of momenta would be constant.

We have already remarked that the function ω(E, V ) carries global, and hence

macroscopic, information about the system. Its significance is due to the fact

that it can be used to define the entropy of the system:

S(E, V ) = k log

ω(E, V )

ω

0

,

(15.24)

where k is the Boltzmann constant and ω

0

is an arbitrary constant making

quantities dimensionless. Note that the logarithm makes the entropy an extensive

quantity, as required by the thermodynamical formalism. Indeed, the partition

15.6

Statistical mechanics: Gibbs sets

627

function of a system obtained by the union of isoenergetic systems of identical

particles is the product of the partition functions of the component systems.

Starting from (15.24) we can also define the temperature:

T =

∂S

∂E

−1

(15.25)

and the pressure:

P = T

∂S

∂V

=

∂S

∂V

∂S

∂E

−1

(15.26)

in such a way that from the expression for the total differential of S:

dS =

∂S

∂E

dE +

∂S

∂V

dV

(15.27)

we can deduce the first principle of thermodynamics for our system, by simply

multiplying by the temperature T :

T dS = dE + P dV.

(15.28)

It is a significant success of this theory to have been able to express the entropy

S(E, V ) through the Hamiltonian H(P, Q), and hence through the microscopic

mechanical properties of the system.

Remark 15.10

We stress that from the physical point of view, the definition of thermodynamical

quantities for a system with which the microcanonical set is associated has essen-

tially theoretical interest, since by definition the system itself is not accessible

to measurement. However, the definitions (15.24)–(15.26) are self-consistent and

will be used in subsequent considerations.

15.6

Maxwell–Boltzmann distribution and fluctuations

in the microcanonical set

Consider a system in equilibrium, closed and isolated, and described by the

microcanonical set. We now want to prove two important facts, highlighting the

relation between the formalism of the microcanonical set and the kinetic theory

(Chapter 14).

P

roposition 15.1 To every distribution function in the space µ it is possible

to associate a volume in the microcanonical set. After the appropriate normal-

isation, this volume can be interpreted as the probability of the corresponding

distribution.

T

heorem 15.7 The Maxwell–Boltzmann distribution in the space µ is the dis-

tribution to which there corresponds the maximum volume in the microcanonical

set, and it is therefore the most probable.

628

Statistical mechanics: Gibbs sets

15.6

Proof of Proposition 15.1

Introduce a partition of the accessible region of the space µ in ‘cells’ (for example,

cubic cells) of equal volume ω. This volume must be small with respect to the

total volume, but sufficiently large that we can find in each cell representative

points of a large enough number of molecules. Since the accessible region in the

space µ is bounded, the cells are a finite number: ω

1

, . . . , ω

K

. Indicate by n

i

the

number of representative points in the cell ω

i

(occupation number ). The numbers

n

i

are subject to the characteristic conditions of the microcanonical set:

K

i

=1

n

i

= N,

(15.29)

K

i

=1

ε

i

n

i

= E,

(15.30)

where ε

i

= p

2

i

/2m and p

i

is the momentum corresponding to the cell ω

i

(because

of the non-zero dimensions of the cell the momentum is not defined exactly,

and therefore we have a finite variation in the energy, and hence the discretised

microcanonical set in the space

Γ

has non-zero thickness). A K-tuple (n

1

, . . . , n

K

)

determines a (discretised) distribution function defined by f (p

i

) = n

i

/ω. To each

prescribed distribution of the N points in the cells ω

1

, . . . , ω

K

(hence to each

microscopic state) there corresponds exactly one specific cell of volume ω

N

in

the space

Γ

. However to a K-tuple of occupation numbers there correspond more

than one microscopic state, and hence a larger volume in the space

Γ

. Indeed,

interchanging two particles with representative points in two distinct cells the

occupation numbers do not change, but the representative point in the space

Γ

does. On the other hand, nothing changes if we permute particles inside the same

cell. Since N ! is the total number of permutations and n

i

! are those inside the

cell ω

i

, which do not change the position of the representative volume element

in the space

Γ

, we find that the total volume in

Γ

space corresponding to a

prescribed sequence of occupation numbers (n

1

, . . . , n

K

) is

Ω

(n

1

, . . . , n

K

) =

N !

n

1

!n

2

!

· · · n

K

!

ω

N

.

(15.31)

Proof of Theorem 15.7

We seek the sequence (n

1

, . . . , n

K

) maximising

Ω

and therefore expressing the

most probable macroscopic state (with respect to the microcanonical distribution).

Recall that n

i

1. Using Stirling’s formula, we obtain log n!

≈ n log n, from

which it follows that

log

Ω

(n

1

, . . . , n

K

) =

−

K

i

=1

n

i

log n

i

+ constant.

(15.32)

Considering now the variables n

i

as continuous variables, we seek the maximum

of the function (15.32) taking into account the constraints expressed by (15.29)

15.6

Statistical mechanics: Gibbs sets

629

and (15.30). Hence we seek to find the extrema of the function

Λ

=

−

K

i

=1

n

i

log n

i

− λ

1

K

i

=1

n

i

− λ

2

K

i

=1

n

i

ε

i

,

where λ

1

, λ

2

are the Lagrange multipliers. This procedure yields the K equations

log n

i

+ 1 + λ

1

+ ε

i

λ

2

= 0,

i = 1, . . . , K,

(15.33)

to which we again associate the conditions (15.29) and (15.30). Note that

∂

2

Λ

∂n

i

∂n

j

=

−δ

ij

1

n

i

,

and therefore the extremum is a maximum.

Redefining the parameters λ

1

, λ

2

we can write the solutions of (15.33) in the

form

n

i

= ce

−βε

i

,

i = 1, . . . , K.

(15.34)

Equation (15.34) is simply a discretised version of the Maxwell–Boltzmann dis-

tribution, setting ε

i

= p

2

i

/2m (or ε

i

= p

2

i

/2m +

Φ

(q

i

) when there are external

forces). It is easy to recognise that the continuous limit of the distribution

associated with (n

1

, . . . , n

K

) is precisely the Maxwell–Boltzmann one, and this

automatically leads to the determination of the constants c and β in (15.34).

We have therefore proved that the Maxwell–Boltzmann distribution is the most

probable in the macroscopic equilibrium state associated with the microcanonical

set. It is important to realise that the Maxwell–Boltzmann distribution is also

the distribution ‘by far’ most probable, in the sense that the fluctuations around

it are very small. For this we must evaluate the relative differences

n

2

i

− n

2

i

N

2

,

(15.35)

where

· represents the average on the microcanonical set.

T

heorem 15.8 The fluctuations (15.35) around the Maxwell–Boltzmann distri-

bution tend to zero, for N

→ ∞, at least as N

−1

.

Proof

Recall the discussion of Section 15.3 about the comparison between average and

most probable value. It is then sufficient to compute n

2

i

− n

i

2

. We follow a

very elegant method, that can be found in Huang (1987).

If in place of (15.31) we consider the function

˜

Ω

(n

1

, . . . , n

K

, η

1

, . . . , η

K

) = N !

η

n

1

1

· · · η

n

K

K

n

1

!n

2

!

· · · n

K

!

ω

N

,

(15.36)

630

Statistical mechanics: Gibbs sets

15.6

where η

i

are parameters varying between 0 and 1, using as before the Lagrange

multipliers technique, we find that the maximum is attained for values of the

occupation number n

i

= ˜

n

i

(η

1

, . . . , η

K

) given by

˜

n

i

= η

i

n

i

= cη

i

e

−βn

i

,

i = 1, . . . , K,

(15.37)

and that ˜

n

i

= n

i

and ˜

Ω

=

Ω

when η

1

= . . . = η

K

= 1. The parameters η

i

can

therefore be considered as volume reduction factors for the cells ω

i

.

We note now that, for every (n

1

, . . . , n

K

) and (η

1

, . . . , η

K

), we have

η

i

∂

∂η

i

˜

Ω

(n

1

, . . . , n

K

, η

1

, . . . , η

K

) = n

i

˜

Ω

(n

1

, . . . , n

K

, η

1

, . . . , η

K

).

Hence n

i

, which by definition is

n

i

=

n

n

i

Ω

(n)

n

Ω

(n)

,

(15.38)

can also be expressed as

n

i

=

n

η

i

∂/∂η

i

˜

Ω

(n, η)

n

˜

Ω

(n, η)

η = (1,...,1)

,

(15.39)

where n = (n

1

, . . . , n

K

),

η = (η

1

, . . . , η

K

) and

n

denotes the sum over all

sequences of occupation numbers. For the computation of n

2

i

we note that

η

i

∂

∂η

i

η

i

∂

∂η

i

˜

Ω

= n

2

i

˜

Ω

(n,

η),

and therefore

n

2

i

=

n

n

2

i

Ω

(n)

n

Ω

(n)

=

⎡

⎣

η

i

∂/∂η

i

η

i

∂/∂η

i

n

˜

Ω

(n,

η)

n

˜

Ω

(n,

η)

⎤

⎦

η

1

=...=η

K

=1

.

(15.40)

15.7

Statistical mechanics: Gibbs sets

631

The expression in square brackets can be rewritten and elaborated as follows:

η

i

∂

∂η

i

⎛

⎝

1

n

˜

Ω

(n,

η)

η

i

∂

∂η

i

n

˜

Ω

(n,

η)

⎞

⎠

−

⎛

⎝η

i

∂

∂η

i

1

n

˜

Ω

(n,

η)

⎞

⎠ η

i

∂

∂η

i

n

˜

Ω

(n,

η)

= η

i

∂

∂η

i

⎛

⎝

n

n

i

˜

Ω

(n,

η)

n

˜

Ω

(n,

η)

⎞

⎠ +

⎛

⎝

1

n

˜

Ω

(n,

η)

η

i

∂

∂η

i

n

˜

Ω

(n,

η)

⎞

⎠

2

.

(15.41)

The last term is simply n

i

2

, after setting η

1

= . . . = η

K

= 1, while we identify

the average of n

i

weighted by ˜

Ω

(n,

η) with ˜n

i

, given by (15.37). Therefore the first

term in (15.41) is simply η

i

(∂/∂η

i

)˜

n

i

= ˜

n

i

and reduces to n

i

for η

1

= . . . = η

K

= 1.

Finally from (15.40) and (15.41) we find

n

2

i

− n

i

2

= n

i

.

(15.42)

Recalling that n

i

/N < 1, from this it follows that

n

2

i

N

2

−

n

i

2

N

2

1/2

<

1

√

N

,

(15.43)

proving the claim.

Taking into account that N can be of the order of 10

23

, equation (15.43)

implies that the fluctuations around the Maxwell–Boltzmann distribution are in

reality extremely small, and hence that the probability that the system takes a

state very different from this particular distribution is very small.

15.7

Gibbs’ paradox

We leave aside the study of the general properties of the function S(E, V ) defined

by (15.24), and we only compute in a simple way the entropy of a perfect gas,

hence assuming that the Hamiltonian of the system is of the form

H =

N

i

=1

p

2

i

2m

.

(15.44)

In this case, it is possible to use formula (15.23). In addition,

|∇

p

H

|

2

=

N

i

=1

(p

i

/m)

2

= (2/m) H. The integral (15.23) must be computed on the sphere

632

Statistical mechanics: Gibbs sets

15.7

P

2

= 2mE in R

3N

. Denoting by χ

n

the measure of the spherical surface of

radius 1 in R

n

χ

n

= 2π

n/

2

/

Γ

(n/2) , we have

ω(E, V ) = V

N

m

2

1/2

E

−1/2

χ

3N

(2mE)

(3N −1)/2

.

(15.45)

Using the asymptotic expression

Γ

(z + 1)

≈

√

2πz

z

+(1/2)

e

−z

,

we can write χ

3N

≈

√

2 (2π/3N )

(3N −1)/2

e

(3N /2)−1

. Substituting into (15.45),

taking the logarithm, taking into account that N

1 and retaining only the

terms in E, V , N , we obtain, because of (15.24), the following expression for the

entropy:

S(E, V ) = N k log ˜

λV

E

N

3/2

+

3

2

kN,

(15.46)

where ˜

λ > 0 is the same constant appearing in expression (14.46) of the previous

chapter.

The evident difference between the two expressions is that in (15.46) there

appears V instead of V /N . While this does not affect the validity of the expres-

sions ∂S/∂E = 1/T , ∂S/∂V = P/T , it nevertheless makes (15.46) unacceptable as

a state function of the system. Indeed, if we consider two systems with the same

particle density (n = N

1

/V

1

= N

2

/V

2

), and the same average energy per particle

(ε = E

1

/N

1

= E

2

/N

2

), we want the entropy of their union to be the sum of the

entropies S

1

, S

2

. As written, equation (15.46) does not have this property, and

yields the paradoxical consequence that it is not possible to partition the system

into two or more parts with identical ratios E

i

/N

i

, V

i

/N

i

and then reassemble

it, again obtaining the starting entropy. This is Gibbs’ paradox. This difficulty

was immediately evident to Gibbs himself and he had no choice but to correct

(15.46) by inserting V /N in place of V :

S(E, V ) = kN log

V

N V

0

+

3

2

kN log

E

N E

0

+ C,

(15.47)

where C is a constant and E

0

, V

0

are constants that arise from making the

variables dimensionless. Recalling the approximation log N !

≈ N log N for N

1,

we realise that this correction is equivalent to dividing the function ω(E, V ) by

N !. Therefore it amounts to a renormalisation of the density of states (Boltzmann

counting), corresponding to considering the particles to be indistinguishable (the

natural point of view of quantum mechanics), so that any permutation gives rise

to the same state. The kinetic theory does not lead to the same paradox because,

as we observed, it admits the interchange of particles.

Boltzmann renormalisation (which we henceforth adopt systematically) puts

back on track classical statistical mechanics, by introducing in it the concept

15.7

Statistical mechanics: Gibbs sets

633

of non-individuality of the particles. The criticism aimed at classical statistical

mechanics on the basis of Gibbs’ paradox is, in our view, scarcely motivated, as

the need for considering the particles as indistinguishable does not deprive the

theory of its elegance and deep significance. However the theory presents more

important limitations when one wants to study the contribution of each degree

of freedom to the energy of the system. We shall discuss this topic in the next

section.

To this end, it is useful to conclude this section with a few additional

considerations on the definition of entropy.

Equation (15.24) is not the only possibility of defining the entropy starting

from the structure of the microcanonical set.

If we assume that the set

{H ≤ E} is bounded and denote by B(E, V ) its

measure (recall that then ω(E, V ) = (∂/∂E) B(E, V )), we can show that another

equivalent definition of entropy is given by

S(E, V ) = k log

B(E, V )

B

0

.

(15.48)

To verify this fact we denote by S

ω

the entropy defined by (15.24) and by S

B

the entropy defined by (15.48). Define T

ω

= (∂S

ω

/∂E)

−1

and T

B

= (∂S

B

/∂E)

−1

,

and note that T

B

= (kω/B)

−1

. In addition,

S

ω

− S

B

= k log

cω

B

= k log

c

kT

B

(c constant with dimension of energy), and differentiating with respect to E we

have

1

T

ω

−

1

T

B

=

−k

1

T

B

∂T

B

∂E

,

and hence

T

B

T

ω

= 1

− k

∂T

B

∂E

.

(15.49)

Now it is sufficient to recall that k ∂T

B

/∂E =

O (1/N) (and precisely 2/3N in

the case of a perfect gas) and conclude that in the thermodynamical limit (when

N

→ ∞) we can assume T

ω

= T

B

, and that this equality is satisfied in practice

for N finite (of the characteristic order of magnitude 10

23

). In particular, we

have obtained the following expression for the temperature:

T =

k

ω(E, V )

B(E, V )

−1

.

(15.50)

Example 15.1

It

is

immediate

to

verify

the

validity

of

equations

(15.50)

for

the

Hamiltonian (15.44). It is enough to recall that the volume of the sphere of

634

Statistical mechanics: Gibbs sets

15.8

radius R in R

n

is 1/nR

n

χ

n

(χ

n

is the measure of the unit spherical sur-

face). Therefore (n = 3N , R =

√

2mE) B =

1

3

N (2mE)

3N/2

χ

3N

, and hence

ω/B = ∂/∂E log B =

3

2

(N/E) = 1/kT .

Example 15.2

We now deduce the heat capacity at constant volume C

V

and that at con-

stant pressure C

P

from the expression (15.47) for the entropy of a perfect

monatomic gas, recalling that dQ = T dS = dE + P dV . For constant volume

we then have C

V

= ∂E/∂T =

3

2

N k. If, on the other hand, we impose

P = constant, we must use the substitution V /N = kT /P in (15.47), and hence

S = kN log kT /P +

3

2

log(E/N ) , up to constants, from which it follows that

dS = kN

1/T

+

3

2

(1/E)

3

2

N k dT , hence T dS = (kN + C

V

) dT , and finally

C

p

= kN + C

V

=

5

2

N k.

15.8

Equipartition of the energy (prescribed total energy)

Recall that the average of a quantity f on the microcanonical set,

f = lim

∆→0

1

ω

∆

E