Measuring student knowledge and skills

Measuring Student Knowledge and Skills
68
OECD 1999
collisions if the traffic is keeping near the edges of the road even if it is moving faster; if it is moving faster
there is less incentive to overtake. Or, disagree because if the traffic is moving faster and keeping the
same distance apart this may mean that they don’t have enough room to stop in an emergency).
Example Item 5 assesses Process 5 – Understanding of scientific concepts about forces and movement in the
area of science in technology. It requires a constructed response, marked 2, 1 or 0 according to whether one
or both of the significant points are mentioned [reference to: a) greater momentum of a vehicle when it
is moving more quickly and the consequent need for more force to stop it; b) at a higher speed a vehicle
will move further whilst slowing down than a slower vehicle in the same time].
Example Item 6 assesses Process 5 – Understanding of scientific concepts about forces and movement in the
area of science in technology. It is a straightforward multiple-choice item with only one correct answer b), which
is given one mark.
To answer all of these questions the student is required to use knowledge that would be gained from
the science curriculum and apply it in a novel situation. Where assessment of conceptual understanding
is not the main purpose of the item the knowledge required is not the main challenge (or hurdle) and
success should depend on ability in the particular process required. Where assessment of conceptual
understanding is the main aim, as in Example Items 5 and 6, the process is one of demonstrating this
understanding.
Assessment structure
As the examples illustrate, what is identified as a defined “task” will take the form of several items
linked to some initial stimulus material. Between them the items within a task may assess more than one
process and one scientific concept, whilst each item assesses one of the scientific processes listed in
Figure 14.
One reason for this structure is to make the tasks as realistic as possible and to reflect in them to
some extent the complexity of real-life situations. Another reason relates to the efficient use of testing
time, cutting down on the time required for a student to “get into” the subject matter of the situation, by
having fewer situations, about which several questions can be posed rather than separate questions
about a larger number of different situations. The necessity to make each scored point independent of
others within the task is recognised and taken into account. It is also recognised that it is all the more
important to minimise bias which may be due to the situation when fewer situations are used.
The tasks will be extended ones incorporating up to about eight items, each independently scored.
In the great majority of tasks, if not all, there will be both items eliciting knowledge and understanding of
the concepts involved, as in Example Items 5 and 6, and items requiring use of one or more of the proc-
esses of collecting and using evidence and data in a scientific investigation, as in Example Items 1-4. As
indicated earlier, OECD/PISA will not include practical (“hands on”) tasks, at least in the years 2000
and 2003, when science is a “minor” domain.
For the overall assessment, the desired balance between the processes is given in terms of percent-
ages of scored points in Table 10. This may be revised for the assessment in 2006, when science will be
the major domain of OECD/PISA.
Table 10.