Book · January 994 citations 110 reads 2,264 authors

participating European countries had highly selective schools in which only
elite students enroll as opposed to comprehensive schools in which all
students attend the same type of school. It was found that the most able stu-
dents from all countries performed at equally well levels regardless of the
type of school in which they were enrolled. This result challenges the ar-
gument made for selective schools, since the performance of the most tal-
ented students does not appear to be jeopardized by the type of school in
which students are enrolled. A related issue of retentivity was also explored
and was found to be an important factor in accounting for differences in
achievement between countries. Interestingly, systems that retain relatively
higher proportions of students by the terminal year of secondary school
were found to have higher proportions of students performing well.
The opportunity-to-learn variable, that is, the opportunity that students
have to learn the mathematics necessary to respond correctly to a given
item, is an IEA innovation. It is an attempt to learn more about the extent to
which a particular curricular topic is implemented. Although there has been
criticism concerning how this variable was operationalized (Postlethwaite,
1971), it was found that there was a positive relationship between students’
achievement on an item and their opportunity to learn the mathematics
content of that item. The results suggest that the opportunity to learn or the
amount of material covered is therefore a predictor of levels of achievement.
The first IEA study indicated that such studies are not only feasible but of
value to researchers, educators, and policymakers. The findings of this first
large-scale international comparative study of education provided insight
into the tremendous variability between countries on many variables that are
important to schooling in general, and to the teaching and learning of math-
ematics in particular. The findings, particularly the achievement results and
408

---

the ranking of countries, made headlines in the popular media and initiated a
great deal of discussion. There have been questions raised concerning the
validity of the comparisons, the selection of items used and inappropri-
ateness of topics, the way in which the opportunity-to-learn variable was op-
erationalized, the scope of the study, and the lack of context in which to
interpret and make plausible reasons for achievement variability
(Freudenthal, 1975; Kilpatrick, 1971). Such concerns were addressed in the
design and implementation of lEA’s Second International Mathematics
Study (SIMS).
5.2 The Second International Mathematics Study
Since the first IEA study in 1964, an extensive curriculum reform move-
ment occurred and basically subsided by the late 1970s. The early 1980s
were therefore an opportune time to conduct a second international com-
parative study to determine the status of mathematics, the effects of the cur-
ricular reform efforts, changes since the first study in student achievement,
attitudes, and interests, as well as changes in school system variables such
as retentivity.
The design of SIMS was quite different from the first IEA study. Unlike
the first study, the second study was curriculum-based and focused on the
study of mathematics through three different levels: the Intended Curricu-
lum, the mathematics intended for learning by national and system-level
authorities; the Implemented Curriculum, the curriculum as interpreted by
teachers and presented to students; and the Attained Curriculum, the cur-
riculum learned by students and determined by their achievement and atti-
tudes (Robitaille & Garden, 1989). This framework provided guidance for
the development of instruments and the interpretation of results. SIMS also
included an analysis of curriculum of participating countries as well as a
longitudinal option to determine the growth of students’ achievement and
the effects on achievement of various instructional practices.
From the 20 countries participating in one or more parts of the study, two
population levels were chosen. Population A included all 13-year-old
students and Population B included all senior students (for complete popula-
tion definitions, see Robitaille & Garden, 1989, pp. 6-7). For the cross-sec-
tional version of the study, all data were collected toward the end of the
school year. During the longitudinal study, teachers were asked to respond
to questionnaires concerning the instructional strategies they used in teach-
ing particular topics, and pretests were administered at the beginning of the
school year and posttests at the end. Test items were selected from the topic
areas of arithmetic, algebra, geometry, measurement, and descriptive statis-
tics.
The SIMS data were collected from 1980 to 1982. An analysis of the re-
sults from this study are presented in many volumes and articles (Garden,
1987; Robitaille & Garden, 1989; Robitaille & Travers, 1992). The follow-
COMPARATIVE INTERNATIONAL RESEARCH
409

---

ing is a discussion of some of these findings at the national level or intended
curriculum level, the school level or implemented curriculum level, and the
student level or attained curriculum level.
At the national level, some of the more interesting findings deal with
changes since the first IEA study in the intended curriculum and in the re-
tentivity of students. Many countries experienced curricular reform and
change, mainly due to the influence of the new mathematics movement. In
general, it was found that, for most countries, the curricular emphasis given
to the study of geometry had decreased, while the importance given to the
study of algebra had increased since the first study. The changes in the re-
tentivity of students from the first study are also interesting. It was found
that for some countries, such as the United States and Sweden, the propor-
tion of students enrolled at the senior level had declined since the first study.
A large between-country difference was found in the proportion of students
who are completing the requirements needed to pursue postsecondary level
mathematics. In particular, in most countries, Population B accounted for
only about 12% of the age cohort, while in Hungary, 50% of the age cohort
was included.
In all countries, there was some form of sorting or grouping of students
for mathematics classes. There is widespread tracking of students at the
Population A level on some measure of ability, particularly in the United
States and in the Canadian province of British Columbia. In other countries,
such as Japan, Hungary, and France, Population A teachers indicated that
they rarely grouped students by ability for mathematics at that level.
Furthermore, achievement results indicate that students from Japan and
France performed very well in mixed-ability groups at the Population A
level. However, such a relationship does not indicate cause and suggests
only that the underlying assumptions on the use or nonuse of grouping by
ability be explored further.
Changes in achievement from pretest to posttest in the longitudinal study
indicate that Japan and France experienced high rates of growth. For exam-
ple, on an item requesting Population A students to add the decimal
fractions
2/5 + 3/8
, the mean percent correct in France grew from 5% on the
pretest to 73% on the posttest. For students in the United States, where such
mathematical content is first presented to students at about the Grade 5 level
and reviewed each year after, the mean percent correct grew from 44% to
60%.
The results of the SIMS have provided countries with important informa-
tion that can be used to make decisions regarding change in curriculum and
instruction. Some countries such as Ireland and Belgium (Flemish) used in-
formation from the curriculum analysis stage to assist in curricular changes
and in training practices for teachers (Garden, 1987). In some countries,
such as Sweden, task forces were constructed to review the performance of
their students and determine ways in which it may be improved (Marklund,
DAVID ROBITAILLE & CYNTHIA NICOL
410

---

1989). Such work indicates how results from international comparative
studies can be used to guide curriculum planners and policymakers.
As indicated by many researchers analyzing comparative international
data, making comparisons of achievement between countries is a very diffi-
cult and complex endeavor. Even in countries in which the intended curricu-
lum is similar, differences in performance levels can be found. Such results
indicate that it is important to consider the social contexts in which learning
occurs and the embedded cultural values and beliefs in which educational
systems operate. A series of small-scale, cross-cultural studies have been
conducted by researchers of the University of Michigan, which complement
the research conducted by the IEA studies and provide greater insight into
the nature of achievement differences and the cultural contexts in which
they occur.
COMPARATIVE INTERNATIONAL RESEARCH
411
6. MICHIGAN STUDIES
The University of Michigan studies under the direction of Harold Stevenson
and his colleges have been in progress for over 10 years. First- and 5th-
grade students, their parents, teachers, and principals from schools in Sendai
(Japan), Taipei (Taiwan), and in metropolitan Minneapolis and Chicago
(USA) provided data for the analysis of academic achievement. These stud-
ies focused on studying cross-cultural differences in student mathematical
performance and classroom instructional practices, as well as exploring the
characteristics of culture in helping to explain these differences.
Mathematics achievement tests were designed to assess students’ mathe-
matical skills and conceptual knowledge in areas of arithmetic, algebra, and
geometry. The results of these studies found that Japanese and Taiwanese
students outperformed American students by the first year of schooling, and
these differences were also found to be even greater by the 5th grade. Stigler
and Baranes (1988) conclude that “the Asian advantage in mathematics, at
least at the elementary school level, is not restricted to narrow domains of
computation, but rather pervades all aspects of mathematical reasoning” (p.
294).
Classroom observations were conducted using detailed narrative descrip-
tions to record the flow of activities and behaviors of students and their
teachers during mathematics lessons. The results from these observations
indicate differences in the ways in which classrooms are organized. In par-
ticular, it was found that American teachers use whole-group instruction
less than 50% of the time, while Asian teachers use it about 80% of the
time. As well, the Japanese teachers tended to emphasize the use of verbal
discussion and explanation, while using student errors as sources of
investigation and discussion. One further interesting finding is that Asian
teachers placed emphasis on the use of concrete manipulative materials, but,
unlike American teachers, they tended to use the same manipulatives for
many different instructional purposes. As Stigler and Baranes conclude,

---

“Japanese teachers use the objects (manipulatives) as a topic of discussion,
whereas American teachers tend to use the objects as a substitute for
discussion” (1988, p. 297).
As a way of understanding the reasons for the cross-cultural differences
in mathematical performance and classroom instruction, the Michigan stud-
ies explored the cultural beliefs of parents and teachers about learning and
education. The researchers found that there were cross-cultural differences
in the ways in which teachers and parents perceived the concept of ability.
Japanese parents and teachers tended to emphasize the role of effort in de-
termining students’ ability to succeed at school, while their American coun-
terparts tended to believe more in the concept of innate ability as reasons for
student success. Stigler and Baranes conclude that these cultural differences
in the beliefs about ability versus effort in determining success help explain
the observed differences in classroom instructional practices. For example,
it may help explain why American educators tend to group their students by
ability, while Japanese educators do not use this approach.
The Michigan studies are a valuable contribution to comparative interna-
tional research. These studies complement the survey research conducted by
the IEA by providing in-depth investigations and data on the contexts in
which mathematics teaching and learning occur. In addition, these studies
emphasize the importance of culture contexts in the analysis and interpreta-
tion of results, providing researchers with alternative ways of studying
cross-cultural differences in mathematical performance and instruction. The
insights of such small-scale studies combined with information and tech-
niques learned from previous IEA studies provide a valuable foundation for
the Third International Mathematics and Science Study.
7. THE THIRD INTERNATIONAL MATHEMATICS
AND SCIENCE STUDY
The Third International Mathematics and Science Study (TIMSS) is one of
IEA’s current projects. In the tradition of other recent IEA studies, TIMSS
plans to describe the intended, the implemented, and the attained curricu-
lum. However, TIMSS differs from previous studies in that it plans to inves-
tigate mathematics and science curricula simultaneously, it plans to give