Measuring student knowledge and skills

Other issues
Links to other assessment areas
The focus of OECD/PISA is different from that of previous comparative surveys in mathematics, such
as the Third International Mathematics and Science Study (IEA/TIMSS). While IEA/TIMSS is an instrument
that was constructed around the common denominator of national curricula of participating countries, the
aim of OECD/PISA is to assess mathematical literacy as defined above. Those familiar with IEA/TIMSS will
see that there are relationships between OECD/PISA’s “mathematical competencies” and IEA/TIMSS’s
“performance expectations”, and that the “mathematical curricular strands” show certain similarities to
those used in IEA/TIMSS. However, in OECD/PISA the curricular strands are subsumed as part of the big
ideas that the domain of mathematical literacy addresses. Also, while most of the items in the IEA/TIMSS
performance categories map on to Competency Class 1, OECD/PISA aims at covering Competency
Classes 2 and 3 as well. For these reasons it is not expected that a psychometric link between the
IEA/TIMSS and OECD/PISA reporting scales will be feasible.
Aids and tools
There are three possible policies with regard to the use of calculators and other tools that might be
implemented in OECD/PISA:
– students could be prevented from using any calculators;
– students could be restricted to using a calculator supplied as part of the OECD/PISA assessment; or
– students could be free to use their own calculators and tools.

---

Mathematical Literacy
57
OECD 1999
OECD/PISA will implement the third of the above possibilities. This option has been chosen because
it represents the most authentic assessment of what students can achieve, and will provide the most
informative comparison of the performance of education systems. A system’s choice to allow students to
access and use calculators is no different, in principle, from other instructional policy decisions that are
made by systems and are not controlled by OECD/PISA.
Further, the argument that the first two options would lead to a fairer assessment, because of the
apparent equality in the testing conditions, is superficial. Students who are used to answering questions
with a calculator will be disadvantaged if this resource is taken away. Students who are provided with a
calculator with which they are unfamiliar may not use that calculator efficiently, or its provision may
encourage them to use it unnecessarily or inappropriately. For example, for many students, the simple
problem 6 + 4
×
3 = ? is more difficult with a simple calculator than without – particularly for those stu-
dents who are not familiar with calculators.
It is therefore the policy of OECD/PISA that students should be allowed to use calculators and other
tools as they are normally used in school. However, in OECD/PISA the test items will be chosen so that
the use of calculators is not likely to enhance a student’s performance in the assessment.

---

---

59
OECD 1999
Chapter 3