Measuring student knowledge and skills

Measuring Student Knowledge and Skills
72
OECD 1999
In the year 2006, when the testing time available will enable a comprehensive coverage of scientific
concepts and areas of application, it may be possible, in addition, to report a sub-scale of understanding
of scientific concepts (Process 5), to be assessed by application in the situations presented. Such a scale
will describe development from demonstrating correct but incomplete understanding, often involving
concepts that are easier to grasp to demonstrating more complete understanding, often involving con-
cepts of greater complexity.
In 2006 there will be sufficient information available across the scientific processes listed in Figure 14
to consider reporting sub-scales, which might relate, for example, to performance in separate processes
or in the major fields of science. Again, this will depend on statistical, conceptual and policy considera-
tions. If it proves feasible to report sub-scales, countries will have the benefit of being able to compare
the achieved outcomes of their science education in detail with what they consider desirable outcomes.
Reporting on the content of, and incorrect responses to, different items is an important accompani-
ment to item statistics. It is expected that these content categories will be generated from the field trial
and related to the kinds of answers actually given by students. Reporting some types of answers to spe-
cific items will also be necessary in order to illustrate the scale(s) and to give meaningful labels to it
(them). This will involve releasing some items from those used in OECD/PISA.
Further levels of reporting are desirable and may become possible after the major science survey
in 2006. One of these is performance in groups of items across tasks relating to the separate areas of
application of science. This information will be useful in considering whether sufficient and effective
attention is being given to issues of current concern.