Measuring student knowledge and skills

How the assessment will take place and how results will be reported
For reasons of feasibility, OECD/PISA 2000 will consist of pencil and paper instruments. Other forms
of assessments will be actively explored for subsequent cycles.
The assessment will be made up of items of a variety of types. Some items will be “closed” – that is,
they will require students to select or produce simple responses that can be directly compared with a
single correct answer. Others will be more open, requiring students to provide more elaborate responses
designed to measure broader constructs than those captured by other, more traditional surveys. The
assessment of higher-order skills, often through open-ended problems, will be an important innovation
in OECD/PISA. The extent to which this type of exercise will be used will depend on how robust the meth-
odology proves to be in the field trial and how consistent a form of marking can be developed. The use
of open-ended items is likely to grow in importance in successive OECD/PISA cycles, from a relatively
modest start in the first survey cycle.
In most cases the assessments will consist of sets of items relating to a common text, stimulus or
theme. This is an important feature that allows questions to go into greater depth than would be the case
if each question introduced a wholly new context. It allows time for the student to digest material that can
then be used to assess multiple aspects of performance.
Overall, the items in OECD/PISA will look quite different from those used, for example, in earlier
international assessments such as the Third International Mathematics and Science Study (IEA/TIMSS),
which concentrated on short multiple-choice questions based on what had been learned at school. For
example, some science questions may only require straightforward knowledge (e.g. asking students to
specify how many legs and body parts insects have) or simple manipulation of knowledge (e.g. students
have to work out whether a metal, wooden or plastic spoon would feel hottest after being placed in hot
water for 15 seconds). OECD/PISA items, on the other hand, generally require the combination of a variety
of knowledge and competencies, and sometimes (such as in “Example Item 4” in the scientific literacy
framework – see Figure 18) an active evaluation of decisions for which there is no single correct answer.
OECD/PISA results will be reported in terms of the level of performance on scales of achievement in
each domain. The calibration of the tasks in the tests on to scales will provide a language with which to
describe the competencies exhibited by students performing at different levels. That is, it will be possi-
ble to say what students at any level on each scale know and are able to do that those below them cannot.
The inclusion of items that require higher order thinking skills as well as others that entail relatively
simple levels of understanding will ensure that the scales cover a wide range of competencies.
An important issue will be whether the levels of literacy in each domain should be reported on more
than one scale. Can a person’s competencies be easily aggregated and placed on a specific level, or is it
more useful to describe them as having reached different levels in relation to different aspects? That will
depend on two things, which will become more evident in the field trials: first, the extent to which an

---