Measuring student knowledge and skills

Total 100
45
55

---

Measuring Student Knowledge and Skills
38
OECD 1999
This portion of the contextual questionnaire will include:
– The degree of exposure to various kinds of print at home, at school, or in a public environment. This includes the
following questions: number of books at home, whether the student owns personal books, pur-
chase of a daily newspaper or weekly magazine on a regular basis in the family, visits to a public
or school library, etc.
– Reading practices/habits. It is important to ensure that the variety and frequency of the different types
of print are covered in relation to the various types of text and text formats distinguished in the
reading framework, and in relation to their assessment context. Considering the time limitations
and the methodological problems brought about by a reading activities inventory, a reasonable
balance must be found between the need to list different sets of print in various types of situations
on the one hand (in order to assess variety), and the various constraints on the other.
– Attitudes toward reading and reading interests. Attitudes toward reading, and motivation, are likely to
influence reading practices and achievement; action can also be taken with regard to these aspects
by the creation of a favourable climate for reading literacy in and out of school. In OECD/PISA, this
aspect is assessed by means of a number of targeted questions that require little response time
(e.g. Do you like receiving books as presents?, Do you enjoy visiting a library? etc.); preference for
reading is also compared with that for other leisure activities (TV, music, going out, video
games, etc.). The answers to these types of questions could prove to be less dependent on the
compliance effects that are frequently observed in the assessment of reading practices.
Metacognition
A number of studies have shown a relationship between metacognitive knowledge and achievement
in young readers (Ehrlich et al., 1993; Ehrlich, 1996). Differences have been found in readers’ understand-
ing of the concept of reading, in the goals and purposes for reading, in their strategies for dealing with
comprehension, and in the detection of inconsistencies. These differences occur in terms of two basic
components of metacognition: students’ knowledge about cognition and regulation of cognition. The first
component concerns the ability to reflect on our own cognitive processes, and includes knowledge about
when, how, and why to engage in various cognitive activities. The second, regulation, concerns the use of
strategies that enable us to control our cognitive efforts (Baker, 1991).
Interest in measuring metacognition as part of OECD/PISA rests on the belief that results can yield
information relevant to policy makers and can influence the practice of reading and learning, especially
since it is believed that these skills can be taught and can be applied more generally than merely in read-
ing tasks. The challenge rests in trying to devise a way of measuring metacognition in large-scale surveys
such as OECD/PISA. Most of the literature is based on experimental studies completed with students
younger than those participating in OECD/PISA (Myers and Paris, 1978). As a result, there appears to be
no existing instrument that can be assumed to yield reliable and valid results.
Since no reliable instrument exists for measuring metacognition among 15-year-old students, and
adequate resources are not available to design and build such an instrument, a decision was made that
metacognition would not be part of the reading literacy field trial or main assessment in the first cycle.
Given the interest in this topic, the development of a metacognition instrument is to be considered for
future cycles.
Technology
In our rapidly changing world, the investigation of reading habits and metacognition needs to be
extended to include questions relating to technology, especially the computer. Clearly, the availability of
electronic texts and their use to obtain and exchange information will become more and more important
in students’ lives in coming years.
To prepare for a greater involvement of technology in future cycles, the OECD/PISA survey will
include a short questionnaire to gather information about students’ access to a computer either at home,
at school, at work, or in their community; attitudes towards using a computer; frequency of computer use
in various settings; and types of activities they engage in with computers.

---