Учебно-методический комплекс предназначен для аудиторной и самостоятельной работы студентов специальности «Психология»

Тема 3. Валидность

1. 
   Главная проблема теории тестов заключается в том, как по изме- ренным результатам определить истинные результаты.
   

Для характеристики способности теста измерять действительный уро- вень психического свойства или качества используют понятие валидности (англ. valid – действительный, пригодный, имеющий силу).
Валидность теста показывает в какой мере он измеряет то качество, для оценки которого он предназначен. Соответствие теста измеряемому психи- ческому свойству. Если высокая надежность теста говорит о том, что тест действительно «что-то» измеряет, то высокая валидность указывает на то, что тест измеряет именно то, что мы хотим. Инвалидные, т.е. не обладаю- щие валидностью, тесты не пригодны для практического использования.

2. 
   Валидность меньше или равна Надежности. Валидность не может превышать надежность теста.
   
3. 
   Валидность является комплексной характеристикой, включающая, с одной стороны, сведения о том, пригодная ли методика для измерения того, для чего она была создана, а, с другой стороны, какова ее действен- ность, эффективность. В современной психометрии разработаны десятки разнообразных теоретических и экспериментальных методов проверки ва- лидности тестов.
   

Проверка валидности методики называется валидизацией - психометрическое исследование, направленное на определение валидности теста или другого измерительного инструмента. Кроссвалидизация – про- цедура дополнительной проверки валидности теста или результатов иссле- дования посредством применения теста на новой выборке или проведения исследования с другими группами испытуемых, а также с применением других методов регистрации зависимых переменных.

4. 
   Основным элементом практически всех этих методов является так называемый «критерий». Критерий валидности – это независимый от тес- та, внешний по отношению к тесту источник информации об измеряемом психическом свойстве. Мы не можем судить о валидности теста до тех пор, пока не сравним его результаты с источником истинной (или хотя бы заведомо валидной) информации об измеряемом свойстве – с критерием.
   

В качестве критерия валидности, используемых при валидизации тес- та, на практике обычно используют: объективные социально- демографические и биографические данные (стаж, образование, профес- сия, прием и увольнение с работы); показатели успеваемости, чаще всего являющиеся критериальной мерой тестов способностей к обучению, дос- тижений в отдельных дисциплинах, тестов интеллекта; производственные
показатели эффективности выполнения отдельных видов профессиональ- ной деятельности, имеющие наибольшее значение при валидизации мето- дик, используемых в профотборе и профориентации; результаты реальной деятельности (рисование, моделирование, музыка, составление рассказа и т.д.) при испытании тестов общих и специальных способностей, личност- ных тестов; врачебный диагноз или другие заключения специалистов; контрольные испытания знаний и умений; данные других методик и тес- тов, валидность которых считается установленной.

5. 
   Виды валидности
   
   1. 
      Критериальная валидность – это комплекс характеристик, вклю- чающий текущую и прогностическую валидность методики и отражающий соответствие диагноза и прогноза определенному кругу критериев изме- ряемой способности.
      

Текущая валидность отражает способность теста различать испытуе- мых по изучаемому признаку, являющегося объектом исследования в дан- ной методике. В качестве таких признаков могут выступать уровни общих способностей, уровни притязаний, вербальный интеллект, тревожность и т.д. Анализ текущей валидности имеет отношение к установлению соот- ветствия показателей теста к реальному состоянию психологических осо- бенностей испытуемого в данный момент обследования.
Сведения, характеризующие степень обоснованности и статистиче- ской надежности развития исследуемой психологической особенности в будущем, составляет прогностическую валидность методики. Заключение об этом типе валидности может быть получено, например, путем сравне- ния тестовых оценок в одной и той же группе испытуемых спустя опреде- ленное время. Основой прогностической валидности является определение того, насколько важен исследуемый признак с точки зрения деятельности испытуемого в будущем с учетом закономерно изменяющихся обстоя- тельств, перехода на другой уровень развития.
Идея критериальной валидности заключается в определении способ- ности теста служить индикатором или предсказателем строго определен- ной психической особенности или формы поведения человека. Для изме- рения этого свойства теста вычисляется коэффициент корреляции тестово- го результата с внешним критерием.
Конкурентная валидность – разновидность критериальной валидно- сти, оценивающей, насколько точно результаты измерения некоторой пе-
ременной, полученные с помощью данного теста, соответствуют общепри- нятому показателю этой переменной, измеряющемуся практически одно- временно с применением данного теста в некоей нормативной выборке. Например, конкурентная валидность нового теста интеллекта оценивается посредством сравнения с другими авторитетными тестами; конкурентная валидность сокращенного личностного опросника оценивается посредст- вом сравнения с результатами, полученными с помощью полной формы данного опросника.
С критериальной связана эмпирическая валидность – совокупность характеристик валидности теста, полученных сравнительно статистиче- ским способом оценивания. Проводится корреляционный или регрессион- ный анализ связи двух рядов значений – оценок теста и показателей по внешнему параметру изучаемого свойства (или результатов другого теста, валидность которого известна). Корреляционный анализ позволяет вы- явить степень сходства между экспериментальными показателями. Регрес- сионный анализ позволяет осуществить прогнозирование динамики разви- тия какого-либо фактора или признака.
Итак, критериальная валидность оценивает индивидуальную диагно- стичность и прогностичность теста.

2. 
   Содержательная валидность (логическая) характеризует степень репрезентативности (показательности) содержания заданий теста измеряе- мой области психических свойств. Содержательная валидность означает, что тест является валидным по мнению специалистов. Задания теста оце- ниваются экспертами по принципу их близости к реальным требованиям. Эксперты выносят суждение о том, охватывает ли тест репрезентативную выборку конкретных навыков и знаний исследуемой области обучения.
   

Широкое использование экспертных оценок сближает содержатель- ную валидность с процедурой определения критериальной и эмпирической валидности. Однако существенным различием между содержательной и критериальной валидностью является то, что экспертные оценки при ана- лизе содержания являются критерием самого теста, в то время как при критериальной валидизации они относятся к испытуемым из выборки стандартизации. В эмпирической валидности используются статистиче- ские методы, в содержательной – качественная процедура получения ин- формации описательными методами.

3. 
   Конструктная валидность (концептуальная) – способность ре- зультатов теста репрезентировать исследуемое качество. Степень обосно- ванности теории, положенной в основу создания данного теста.
   

Она устанавливается путем доказательства правильности теоретиче- ских концепций, положенных в основу теста. Обращение к концептуаль- ной валидности необходимо в тех случаях, когда результаты тестовых из- мерений используются не просто для предсказания поведения, а как основа выводов о том, в какой степени испытуемые обладают некоторой опреде- ленной психологической характеристикой. Причем измеряемая психологи- ческая характеристика не может быть отождествлена с какой-либо наблю- даемой особенностью поведения, а представляет собой теоретическую концепцию. Примерами таких концепций являются интеллект, черты лич- ности, мотивы, установки и т.д. Конструктивная валидность требует по- степенного накопления информации об изменчивости оценок. Фиксируют- ся и анализируются данные, проливающие свет на отдельные черты и при- роду изучаемого явления, а также условия, воздействующие на его разви- тие и проявление.
Важнейшим аспектом концептуальной валидности является внутрен- няя согласованность, отражающая то, насколько определенные пункты (т.е. задания, вопросы), составляющие материал теста, подчинены основ- ному направлению теста как целого, ориентированы на изучение одного и того же явления. Одним из компонентов концептуальной валидности явля- ется валидность по возрастной дифференциации. Она связана с возрастной динамикой исследуемого качества.
Особое место в процедуре определения конструктивной валидности занимает факторный анализ, позволяющий строго статистически проана- лизировать структуру связей показателей исследуемого теста с другими известными и латентными (скрытыми) факторами, выявить общие и спе- цифические для группы сопоставляемых тестов факторы, степень их пред- ставленности в результатах, т.е. определить факторный состав и фактор- ные нагрузки результата теста (факторная валидность).
Факторный анализ – комплекс аналитических методов, позволяющий выявить скрытые признаки, а также причины их возникновения и внутрен- ние закономерности их взаимосвязи. Позволяет найти совокупность фак- торов, наиболее значимых для данных конкретных экспериментальных ус- ловий, а также внутренние закономерности их взаимосвязи.

4. 
   Важное значение имеют данные не только о высокой корреляции теста с некоторыми другими переменными, с которыми он теоретически должен коррелировать. Существенно также, чтобы тест не был тесно связан с теми параметрами, с которыми он не должен коррелировать. В соответст- вии с этим различают конвергентную и дискриминативную валидность.
   

Конвергентная валидность есть степень статистической зависимости (скоррелированности) данного теста с другими тестами (факторами, пере- менными), с которыми он, согласно теоретическим представлениям, дол- жен быть связан. Отсутствие значимой корреляции с факторами, неизме- ряемыми тестом обеспечивает дискриминативную валидность. Дискрими- нативная валидность есть степень статистической независимости данного теста от других тестов (факторов, переменных), с которыми он, согласно теоретическим представлениям, не должен быть связан. Так, с точки зре- ния теории Г. Айзенка тест Дж. Тейлор МАS обладает дискриминативной валидностью по отношению к фактору «экстраверсия-интроверсия» и оп- ределенной конвергентной валидностью по отношению к фактору «нейро- тизма».

5. 
   Очевидная валидность – представление о тесте, сфере его при- менения, результативности и прогностической ценности, которая возника- ет у испытуемого или другого лица, не располагающего специальными сведениями о характере использования и целях методики. Она выступает в качестве фактора, побуждающего испытуемых к обследованию, способст- вует более серьезному и ответственному отношению к работе по выполне- нию заданий теста и к заключениям, которое формируют психологи.
   
6. 
   Инкрементная валидность – практическая ценность методики при проведении отбора.
   
7. 
   Для вычисления количественного показателя – коэффициента валидности – сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему крите- рию у тех же лиц, используются разные виды линейной корреляции (по Спирмену, по Пирсону). Сколько испытуемых необходимо для расчета ва- лидности? Практика показала, что их не должно быть меньше 50, однако лучше всего более 200. Какая должна быть величина коэффициента валид- ности, чтобы она считалась приемлимой? Достаточно того, чтобы коэффи- циент валидности был статистически значим, низким признается коэффи-
   

циент валидности порядка 0,20 – 0,30 , средним – 0,30,- 0,50 и высоким –
свыше 0,60.

8. 
   Особой разновидностью валидности является достоверность.
   

Речь идет о сознательных или бессознательных искажениях, которые вносит в тестовые результаты сам испытуемый, руководясь в ходе теста особой мотивацией, отличающийся от той, которая присуща ему в реаль- ном поведении. Способность теста защищать информацию от мотивацион- ных искажений и есть достоверность теста.
Особо остро проблема достоверности стоит в опросниках, которые до- пускают больше свободы в выборе испытуемым любого варианта ответа.
Типичный прием обеспечения достоверности – это наличие в опрос- никах шкал лжи. Эти шкалы основываются главным образом на феномене социальной желательности – стремлении испытуемых давать в ходе тести- рования социально одобряемую информацию. Шкала лжи состоит из во- просов, касающихся незначительных проступков, которые совершаются большинством людей. Если испытуемый набрал по шкале лжи балл выше критического, то его протокол объявляется недостоверным и ему предла- гается либо выполнить данный тест еще раз более откровенно, либо вы- полнить другой тест.
Многие более специфичные «ловушки», направленные на измерение достоверности, часто входят как компонент в структуру конкретного теста, а иногда даже не подлежат разглашению как элемент «ноу-хау» (информа- ционного изобретения) и профессиональной тайны, разделяемой разработ- чиками только с лицензированными пользователями методики, подписав- шими особое лицензионное соглашение при приобретении теста.
Более тонкий вариант – введение шкал «коррекции» (например, в ММРI): получение определенного балла по этим шкалам вызывает внесе- ние поправок к баллу по другим шкалам, скореллированным со шкалой коррекции.
Достоверность тестирования тесно связана со степенью доверитель- ности общения, которую смог психолог установить с данным испытуемым. Здесь различают две диагностические ситуации консультативную (ситуа- цию клиента) и аттестационную (ситуацию экспертизы).
В первом случае испытуемый участвует в тестировании на добро- вольной основе и сам заинтересован получить рекомендации по результа- там тестирования (как, например, в профессиональной консультации).
Во втором случае тестирование проводится по инициативе других лю- дей, которые больше заинтересованы в результатах, чем сам испытуемый.
На достоверность влияют еще два психологических фактора в тех си- туациях, когда испытуемый дает самоотчет (личностные опросники).

1. 
   Фактор знания. У испытуемого может быть более или менее четкое представление о следующем: свойственны ли ему в действительности или нет тестируемые поведенческие проявления (с некоторыми ситуациями испытуемый вообще мог не встречаться); что за личностное свойство скрывается у психолога за тем или иным конкретным поведением, описан- ным в суждении; как это свойство соотносится с общепринятыми мораль- ными нормами и признаками социального успеха.
   
2. 
   Факторы «индивидуальной тактики». Здесь подразумевается дейст- вие «Я-концепции» («Я» для себя) и «Я-образа» («Я» для других) на ситуа- тивную тактику испытуемого в момент тестирования.
   

Выполняя опросник, испытуемый всегда находиться в невольном диа- логе с самим собой и в своих ответах на вопросы раскрывает себя не только для других, но и для самого себя. Испытуемый стремиться подтвердить «Я- концепцию» или фальсифицировать определенный «Я-образ» с заданными свойствами. Как правило, в ситуациях высокого социального риска «Я- образ» полностью доминирует: например, преступник на экспертизе стре- миться прежде всего предстать больным или неприспособленным к жизни, хотя в действительности ему было бы приятно думать о себе как о вполне адаптированном здоровом человеке. Точно также склонны подчеркивать свои трудности и проблемы клиенты, обратившиеся за помощью к психоло- гу-психотерапевту (чтобы вызвать к себе его повышенное внимание).
В менее регламентированных ситуациях, наоборот, может доминиро- вать мотивация самопознания: в этом случае испытуемый невольно стре- мится с помощью теста подтвердить свои гипотезы о самом себе.