Measuring student knowledge and skills

What is being assessed in each domain
Table 1 summarises the structure of each of the three OECD/PISA domains, giving the definition of
each domain and the dimensions that characterise the test items.
The definitions of all three domains place an emphasis on functional knowledge and skills that allow
one to participate actively in society. Such participation requires more than just being able to carry out
tasks imposed externally by, for example, an employer. It also means being equipped to take part in

---

Measuring Student Knowledge and Skills
12
OECD 1999
decision-making processes. In the more complex tasks in OECD/PISA, students will be asked to reflect on
material, not just to answer questions that have single “correct” answers.
In order to operationalise these definitions, each domain is described in terms of three dimensions.
These correspond roughly to:
– the content or structure of knowledge that students need to acquire in each domain;
– a range of processes that need to be performed, which require various cognitive skills; and
– the situation or context in which knowledge and skills are applied or drawn on.
The idea is to assess students across a range of skills required for a variety of tasks that anyone might
have to perform. However, it should be emphasised that the relative importance of the three dimensions
still needs to be explored. Field trials in 1999 will assess a large number of questions on the three dimen-
sions, with varying characteristics, before a decision is reached about the most useful range of character-
istics and the manner in which to translate performance in various items into aggregate scores.
Within the common framework of the three dimensions, each domain defines its various dimensions
in particular ways. There is an important difference between reading literacy on the one hand, and sci-
ence and mathematics on the other. The former is itself a skill that cuts across the curriculum, particularly
in secondary education, and does not have any obvious “content” of its own. Although some formal
understanding of structural features such as sentence structure may be important, such knowledge can-
not be compared, for example, to the mastery of a range of scientific principles or concepts.
The following are the main aspects of each of the three assessment domains summarised in Table 1.