Measuring student knowledge and skills

Example item using more complex “mathematisation”

---

Measuring Student Knowledge and Skills
48
OECD 1999
The IEA/TIMSS test development process placed great emphasis on coverage of the curricula of par-
ticipating countries and used a detailed scheme based upon traditional curriculum content strands to
describe national curricula. However, school mathematics is often offered to students as a strictly com-
partmentalised science, and over-emphasises computation and formulae. Students leaving secondary
school are typically not aware of the fact that mathematics is growing continuously, spreading into new
fields and situations. As a result, the IEA/TIMSS instruments pertained mostly to knowledge of mathemat-
ical facts that were tested in isolation, mainly with very short items.
In contrast, OECD/PISA is focusing on mathematical literacy as it has been defined above. It is impor-
tant, therefore, to emphasise that OECD/PISA’s goal is to assess the full breadth of student achievement
in a coherent, integrated way, rather than to test fragmented pieces of factual knowledge, which belongs
to Competency Class 1. For OECD/PISA, interconnections and common ideas are central elements. Math-
ematics is the language that describes patterns, both patterns in nature and patterns invented by the
human mind. In order to be mathematically literate, students must recognise these patterns and see their
variety, regularity and interconnections.
It is for this reason that the traditional content strands are not a major dimension in the OECD/PISA
mathematical literacy domain. Instead, the content to be assessed is organised around big mathematical ideas.
The concept of “big ideas” is not new. In 1990, the Mathematical Sciences Education Board (Senechal,
1990) published On the Shoulders of the Giant: New Approaches to Numeracy, which is a strong plea to help stu-
dents delve deeper in order to find concepts that underlie mathematics and hence to reach a better
understanding of their significance in the real world. For this it is necessary to explore ideas with deep
roots in the mathematical sciences without concern for the limitations imposed by present school curric-
ula. Other mathematicians support this idea, one of the better known publications being Mathematics: The
Science of Patterns (Devlin, 1994, 1997).
A large number of big ideas can be identified. In fact, the domain of mathematics is so rich and varied
that it would not be possible to draw up an exhaustive list of big ideas. For the purpose of focusing the
OECD/PISA mathematical literacy domain, however, it is important that a selection of big ideas is made
which encompasses sufficient variety and depth to reveal the essentials of mathematics.
The following list of mathematical big ideas is used in OECD/PISA to meet this requirement:
– chance;
– change and growth;
– space and shape;
– quantitative reasoning;
– uncertainty; and
– dependency and relationships.
In the first OECD/PISA assessment cycle, the limited testing time available for mathematics neces-
sarily restricts the breadth of what can be assessed. The first cycle will therefore focus on the following
two big ideas:
– change and growth; and
– space and shape.
There are two main reasons for limiting the first survey cycle to these two big ideas:
– first, these two domains cover a wide range of subjects from the content strands indicated earlier;
– second, these domains offer an adequate coverage of existing curricula.
Quantitative reasoning was omitted from the first survey cycle because of the concern that it would
lead to an over-representation of typical number skills.
These two big ideas are elaborated further below.

---