Measuring student knowledge and skills

Reading Literacy
39
OECD 1999
Links to other assessment areas
It is important to make use of as much information as is available to provide detailed interpretations
of the achievement data from the assessment. Some additional information will come from the question-
naire data, but relations with other assessments will also provide data which may enrich the interpreta-
tion of the results.
OECD/PISA is not the only assessment of reading proficiency. As mentioned before, the International
Adult Literacy Survey (IALS) assessed adult proficiency and it would be useful if OECD/PISA results could
be interpreted in the context of this study as well, despite significant differences in the nature and design
of the OECD/PISA and IALS instruments. Links with IALS would also provide a way of connecting the
student measures with adult measures. This can be achieved in part by including assessment tasks from
IALS to provide a direct connection. Thought has been given to the number of items from IALS that would
need to be included in the OECD/PISA reading assessment to provide both a conceptual and a statistical
link. In addition, trade-offs between including sufficient items to provide these links and wanting to
measure something that extends beyond these assessments have been considered.
It would not be possible to form a link with more than one of the three IALS scales, as there would not
be time in the assessment to include such a range of IALS items. As it seems likely that the OECD/PISA
assessment will have fewer tasks based on non-continuous than on continuous texts, it would be unwise
to use the IALS document scale, as the number of IALS tasks necessary for a link might well dominate this
category of OECD/PISA. Because the IALS quantitative scale is based mostly on non-continuous tasks, the
same objection would apply to it. IALS prose literacy tasks do seem appropriate for use in OECD/PISA,
however, because they would not dominate the continuous texts.
To explore this link, two blocks of items from the IALS prose scale have been included in the field
trial for OECD/PISA in order to determine how well the item parameters fit the OECD/PISA populations.
Assuming that most of the parameters fit, an adequate number of IALS prose literacy tasks will be
included in the main assessment for OECD/PISA. These items will serve a dual purpose. First, the IALS
item parameters will be used to estimate the prose literacy proficiency of the various OECD/PISA coun-
tries. Second, these items will be coded as part of the OECD/PISA reading literacy framework and used
to help estimate the reading literacy proficiencies of 15-year-old students in participating countries.
As OECD/PISA is assessing other achievement areas (mathematics and science), though less inten-
sively, there is an opportunity to develop estimates for the relationships between these areas. Simple
approaches would only use the fact that similar populations in the same countries are being assessed at
the same time, and would not attempt any modelling of these relationships. More interesting, but more
complex, approaches would have items that cross assessments so that the relationship between reading
and science or mathematics could be directly modelled by using the results from the common items. Psy-
chometric models for such cross-assessments do exist, but the test tasks require careful development
and the interpretation of such conditional results is much less straightforward than that of traditional
models, in which each task receives a unique position on a single scale. Because the information gained
from cross-item approaches is so important, the OECD/PISA field trial will include a block of fully inte-
grated items (items that are marked for more than one assessment area) as well as several blocks that
contain distinct reading, science, and mathematics items that are based on common texts or situations.

---

---

41
OECD 1999
Chapter 2