Measuring student knowledge and skills

Test rubrics and task characteristics
There are three sets of variables that make up the test rubrics: questions or directives, which set out
the task for the student; response formats, which set out the ways in which students are requested to
demonstrate their proficiency at the task; and rules for marking, which specify how students’ responses
are to be evaluated. Each of these will be discussed in turn, though the first requires considerably
more attention.
Questions and directives
It is possible to look at the tasks set out for students from a macro perspective and from a micro per-
spective. At the macro level, the tasks can be identified as requiring one or more of five broad aspects of
reading. At the micro level, several variables have been shown to play a role in determining the difficulty
of tasks along a particular scale.
• Macro aspects
Because it is assumed that the majority of 15-year-olds in the participating countries will have mas-
tered the basic decoding of texts, it is not necessary to focus explicitly on the underlying skills in reading.
Rather, the assessment will focus on more complex reading literacy strategies (Dole et al., 1991; Paris,
Wasik and Turner, 1991).
In an effort to provide for authentic reading situations, the OECD/PISA reading assessment will meas-
ure the following five aspects associated with the full understanding of a text, whether the text is contin-
uous or non-continuous. Students are expected to demonstrate their proficiency in all these aspects:
– forming a broad general understanding;
– retrieving information;
– developing an interpretation;

---

Reading Literacy
29
OECD 1999
– reflecting on the content of a text; and
– reflecting on the form of a text.
The complete understanding of a text involves all of these aspects. It is expected that all readers,
irrespective of their overall proficiency, will be able to demonstrate some level of competency with each
of them (Langer, 1995). While the five aspects are interrelated – each may require many of the same
underlying skills – successfully accomplishing one may not be dependent upon successful completion of
any other. They are seen by some as being in the repertoire of each reader at every developmental level
rather than forming a sequential hierarchy or set of skills. Of course, it will be possible, and necessary, to
investigate this assumption once the items have been developed and the field-test data have been
collected.
These five aspects of reading will be operationalised through a set of questions and directives pre-
sented to students taking the OECD/PISA assessment. Through their responses to these questions and
directives, students will be able to provide evidence that they can understand, use, and reflect on a
range of continuous and non-continuous texts.
Figure 1 identifies the key distinguishing characteristics of the five aspects of reading being meas-
ured for OECD/PISA. While this figure necessarily oversimplifies each aspect, it provides a useful scheme
for organising and remembering the relationships between them.
The five aspects can be distinguished in terms of four characteristics:
– The first deals with the extent to which the reader is expected to use information primarily from
within the text or to draw more heavily upon outside knowledge.
– A second distinguishing characteristic involves the extent to which the reader is asked to consider
the text as a whole or to focus on specific pieces of information contained within the text.
– Sometimes readers are expected to retrieve specific or independent pieces of information while
at other times they are directed to demonstrate their understanding of the relationships between
parts of the text. Focusing on isolated or independent pieces instead of relationships between