Measuring student knowledge and skills

Drawing or evaluating conclusions
Recognising scientifically investigable questions

---

Scientific Literacy
71
OECD 1999
– Some tasks will include items which involve reading and/or mathematics and will contribute to the
assessment in these domains. However there will be no items relating to scientific literacy that
require only the repetition of information in the stimulus material, nor items that require only the
recall of isolated factual information.
To cover the range of skills and understanding identified in this framework requires a range of item
response formats. For example, multiple-choice items can be produced that validly assess those proc-
esses involving recognition or selection. However, for assessing the ability to evaluate and communicate,
an open-response format is more likely to provide validity and authenticity. In many cases, however, the
most appropriate format will depend on the particular content of the item.
Reporting scales
Scales and sub-scales
To meet the aims of OECD/PISA, the development of scales of student achievement is essential. The
process of arriving at a scale has to be iterative, so that initial proposals, based on past experience of
assessing science achievement and findings from research into learning and cognitive development in
science, are modified by empirical findings from the OECD/PISA field trials.
Existing research and past experience suggest that there will be a scale of scientific literacy indicat-
ing development:
from being able to use scientific concepts that are more easily grasped and being able to do things such
as the following, in familiar situations:
– recognise questions that can and those that cannot be decided by scientific investigation;
– identify information that has to be obtained in order to test a claim or explore an issue in situations
where there is one variable to change and one to control;
– state why conclusions or claims may not be tenable in situations where there is no control of a var-
iable that should have been controlled;
– present some of the main points in relating evidence to conclusions in a way that can be under-
stood by others;
– make predictions and suggest explanations in terms of more easily grasped concepts;
… to being able to apply concepts of greater cognitive demand and do the following things, in more
complex situations:
– recognise the tentativeness of all scientific understanding and the fact that testing of theories can
lead to revision and better understanding;
– identify the information that has to be collected and the conditions under which it should be col-
lected to test an explanation or explore an issue in complex situations;
– criticise the adequacy of information given in support of a claim or argument; argue for and against
a statement or conclusion in relation to the evidence available in cases where there is no simple,
clear causal relationship;
– present a well-constructed argument for and against a particular conclusion using scientific knowl-
edge and data or information provided;
– make predictions and provide explanations based on understanding of more complex and
abstract scientific concepts.
Details of the scientific literacy scale will emerge from analyses of results from field trials. These will
show which items can be grouped together and which are spread at different points on the scale. The
empirical data will be used to test the progression proposed here on the basis of judgement and what is
already known about cognitive development.

---