Measuring student knowledge and skills

Measuring Student Knowledge and Skills
18
OECD 1999
The development of the OECD/PISA frameworks can be described as a sequence of the following
six steps:
– development of a working definition for the domain and description of the assumptions that
underlie that definition;
– evaluation of how to organise the set of tasks constructed in order to report to policy makers and
researchers on achievement in each assessment domain among 15-year-old students in participat-
ing countries;
– identification of a set of key characteristics that should be taken into account when constructing
assessment tasks for international use;
– operationalisation of the set of key characteristics that will be used in test construction, with defi-
nitions based on existing literature and experience in conducting other large-scale assessments;
– validation of the variables and assessment of the contribution each makes to understanding task
difficulty across the various participating countries; and
– preparation of an interpretative scheme for the results.
It is the first four of these steps that are described in this publication. The last two steps will be com-
pleted once the results from the field trial assessments are available. The developmental process itself
was guided by the following principles:
– a framework should begin with a general definition or statement of purpose – one that guides the
rationale for the survey and for what should be measured;
– a framework should identify various task characteristics and indicate how these characteristics will
be used in constructing the tasks; and
– variables associated with each task characteristic should be specified, and those that appear to
have the largest impact on the variance in task difficulties should be used to create an interpreta-
tive scheme for the scale.
While the main benefit of constructing and validating a framework for each of the domains is
improved measurement, there are other potential benefits in providing a framework:
– a framework provides a common language and a vehicle for discussing the purpose of the assess-
ment and what it is trying to measure. Such a discussion encourages the development of a consen-
sus around the framework and the measurement goals;
– an analysis of the kinds of knowledge and skills associated with successful performance provides
a basis for establishing standards or levels of proficiency. As the understanding of what is being
measured and the ability to interpret scores along a particular scale evolves, an empirical basis for
communicating a richer body of information to various constituencies can be developed;
– identifying and understanding particular variables that underlie successful performance further
the ability to evaluate what is being measured and to make changes to the assessment over time;
– linking research, assessment, and public policy promotes not only the continued development
and use of the survey, but also the understanding of what it is measuring.

---

19
OECD 1999
Chapter 1