Measuring student knowledge and skills

Reading Literacy
21
OECD 1999
defined and less immediate which enrich and extend personal life and lifelong education. “Participate”
is used in preference to the word “function” used in IALS because it implies that literacy allows people
to contribute to society as well as to meet their own needs. The term “function” carries a limiting prag-
matic connotation, whereas “participate” includes social, cultural, and political engagement. Participation
may include a critical stance, a step towards personal liberation, emancipation, and empowerment. The
term “society” includes economic and political as well as social and cultural life (Linnakylä, 1992;
Lundberg, 1991, 1997; MacCarthey and Raphael, 1989).
Organisation of the domain ans task characteristics
Having defined the domain of reading literacy and having laid out the set of assumptions that were
made in constructing this definition, it is important to set out a framework of how to organise this domain.
This organisation needs to focus on how to report the scores that result from administering the pool of
reading literacy tasks. This is an important issue because how the domain is organised can affect test
design. Research suggests that reading is not a single, one-dimensional skill, and that reading literacy
therefore cannot be represented adequately by a single scale or single score along that scale. Determin-
ing how many and which scales should be used for reporting reading literacy scores is crucial for ensuring
that sufficient numbers of tasks are developed to define and interpret these scales adequately.
Different perspectives can be used to help organise the scales. The easiest way would be to rely on
the work of others who have conducted national and international student assessments. Both the
United States National Assessment of Educational Progress reading assessment (NAEP) and the IEA/RLS
reported scores on three scales. These scales focused on text format. IEA/RLS reported their results for
4th and 9th-grade students on narrative, expository and document scales. The NAEP, using a similar
approach, reported proficiencies on three scales: literature – or reading for literary experience; informa-
tion – or reading to be informed; and documents – or reading to perform a task. These scales are also
similar to those used in the International Adult Literacy Survey or IALS. In addition to a quantitative lit-
eracy scale, IALS also reported proficiencies along a prose scale and a document scale. In this assess-
ment, prose literacy consisted primarily of expository texts, while for the school-based NAEP surveys
there was more balance between narratives and exposition.
A second way to organise the reading tasks is based on the situations from which the tasks are con-
structed. One of the goals of OECD/PISA is to measure reading literacy not just within an academic setting
but across a variety of situations. This is because the assessment seeks to address the question of
whether students in the targeted age group are adequately prepared to enter the workforce and to par-
ticipate as members of their communities.
Another way in which to organise and report internationally on the reading literacy skills would be to
use a scheme based on task content; technical content versus humanities is one distinction that has been
put forward.
Still another organisational scheme might be based on aspects of reading, such as forming a broad
general understanding, retrieving information, developing an interpretation, reflecting on the content of
a text, and reflecting on the structure and form of a text. The fine understanding of a text demands that
readers engage in all aspects of reading (Langer, 1995) and is in fact a major element in the development
of reading literacy tasks in OECD/PISA.
It is believed that the OECD/PISA reading literacy assessment will provide a rich array of data from
which a decision will be reached on how to report results most effectively to policy makers, educators,
and researchers. This decision will be based on a combination of three criteria: conceptual, empirical,
and political. The final decisions about which reporting scales will be used will be made after the data
from the OECD/PISA field trial has been collected and analysed.
In addition to organising the reading literacy domain for reporting purposes, it is also necessary to
identify task characteristics and to begin to operationalise these characteristics so that the construction
and selection of tasks can begin. Only a finite number of characteristics can be manipulated in the con-
struction of tasks, and only a small number of variables associated with these characteristics are likely to
play an important role in influencing student performance.

---