- •Часть I. Психометрика
- •Содержание
- •Введение
- •Составление первичной формы опросника. Свойства пунктов теста и репрезентативность выборки
- •2. Обеспечение эффективности заданий теста.
- •3. Проверка репрезентативности выборки стандартизации (тестовых норм).
- •Лабораторная работа № 1 Составление первичной формы опросника
- •Ход работы:
- •Спецификация создаваемого опросника
- •Определение процентного веса содержательных областей измерения, их манифестаций и количества пунктов в опроснике
- •Протокол оценки формулировок вопросов
- •Обработка результатов
- •Анализ результатов и выводы
- •Домашнее задание
- •Лабораторная работа № 2 Распределение частот суммарных баллов, меры центральной тенденции и меры изменчивости
- •Ход работы
- •Результаты обследования испытуемых с помощью первичной формы опросника
- •Распределение частот суммарных баллов
- •Обработка результатов
- •Зависимость числа разрядов от объема выборки
- •Определение сгруппированных накопленных частот
- •Анализ результатов и выводы
- •Лабораторная работа № 3 Оценка пунктов теста по форме распределения суммарных баллов
- •Ход работы
- •Расчет параметров, характеризующих тип распределения
- •Обработка результатов
- •Анализ результатов выводы
- •Лабораторная работа № 4 Расчет силы пунктов теста
- •Ход работы
- •Обработка результатов
- •Расчет силы отдельных пунктов опросника
- •Анализ результатов и выводы
- •Лабораторная работа № 5 Расчет коэффициента дискриминативности
- •Ход работы
- •Результаты обследования испытуемых с помощью первичной формы опросника
- •Расчет коэффициента дискриминативности для одиннадцатого пункта теста
- •Анализ результатов и выводы
- •Лабораторная работа № 6 Оценка нагруженности пунктов опросника фактором социальной желательности
- •Ход работы
- •Вычисление меры социальной желательности пунктов опросника
- •Анализ результатов и выводы
- •Лабораторная работа № 7 Оценка меры социальной желательности пунктов опросника сравнением результатов тестирования при обычной и сфальсифицированной инструкции
- •Ход работы
- •Вычисление меры социальной желательности пунктов теста
- •Анализ результатов и выводы
- •Лабораторная работа № 8 Процентиль как мера измеряемого свойства
- •Ход работы
- •Внутренние границы интервалов, частоты и накопленные частоты
- •Обработка результатов
- •Расчет процентилей
- •Анализ результатов и выводы
- •Лабораторная работа № 9 Стандартизация шкалы
- •Ход работы
- •Перевод сырых баллов в стандартную шкалу
- •Домашнее задание
- •Лабораторная работа № 10 Нормализация распределения суммарных баллов
- •Ход работы
- •Нормализация распределения суммарных баллов теста
- •Анализ результатов и выводы
- •Лабораторная работа № 11 Проверка устойчивости распределения с помощью процедуры стандартизации
- •Ход работы
- •Процентильная нормализация суммарных баллов
- •Линейная стандартизация шкалы
- •Анализ результатов и выводы
- •Лабораторная работа № 12 Проверка устойчивости распределения с помощью критерия хи-квадрат
- •Ход работы
- •Расчет теоретических частот, соответствующих нормальному распределению первичных тестовых оценок
- •Распределение частот первичных оценок по тесту
- •Анализ результатов и выводы
- •Надежность теста
- •Лабораторная работа № 13 Одномоментная надежность теста
- •Ход работы
- •Суммарные баллы испытуемых по двум частям теста
- •Обработка результатов
- •Вычисление показателя одномоментной надежности опросника
- •Анализ результатов и выводы
- •Лабораторная работа № 14 Одномоментная надежность отдельных пунктов теста
- •Ход работы:
- •Обработка результатов:
- •Оценка одномоментной надежности отдельных пунктов теста
- •Анализ результатов и выводы
- •Исходные данные для оценки валидности
- •Лабораторная работа № 15 Ретестовая надежность теста
- •Ход работы
- •Обработка результатов
- •Оценка ретестовой надежности теста
- •Анализ результатов и выводы
- •Лабораторная работа № 16 Ретестовая надежность отдельных пунктов теста
- •Ход работы:
- •Оценка надежности-устойчивости отдельных пунктов первичной формы опросника для измерения экстраверсии-интроверсии
- •Обработка результатов
- •Анализ результатов и выводы
- •Лабораторная работа № 17 Константная надежность теста
- •Ход работы
- •Расчет коэффициента константности
- •Обработка результатов
- •Анализ результатов и выводы
- •Валидность теста
- •Лабораторная работа № 18 Экспертная эмпирическая валидизация теста
- •Ход работы
- •Сводная таблица результатов экспертной оценки и результатов тестирования
- •Обработка результатов
- •Расчет коэффициента валидности
- •Анализ результатов и выводы
- •Лабораторная работа № 19 Конструктная валидность теста
- •Ход работы
- •Вычисление показателя конструктной валидности первичной формы опросника
- •Анализ результатов и выводы
- •Лабораторная работа № 20 Внутренняя валидность теста
- •Ход работы
- •Обработка результатов:
- •Оценка внутренней валидности опросника
- •Анализ результатов и выводы
- •Приложения
- •Функция нормального распределения ф(х)
- •Плотность нормального распределения f(х)
- •Критические значения критерия χ2 (хи-квадрат)
- •Критические значения коэффициента ранговой корреляции Спирмена
- •Литература
Расчет коэффициента константности
№ п/п |
Суммарный балл Э1 |
Суммарный балл Э2 |
R1 |
R2 |
R1 – R2 |
(R1 –R2)2 |
1 |
4 |
4 |
4 |
3 |
1 |
1 |
2 |
5 |
6 |
7 |
10.5 |
-3.5 |
12.25 |
… |
|
|
|
|
|
|
20 |
6 |
6 |
10.5 |
10.5 |
0 |
0 |
|
|
|
|
|
|
= 334,5 |
Обработка результатов
Проранжировать суммарные баллы испытуемых, полученные при тестировании первым экспериментатором. Данные занести в графу R1таблицы 28.
Проранжировать суммарные баллы испытуемых, полученные при тестировании вторым экспериментатором. Данные занести в графу R2 таблицы 28.
Найти разность рангов для каждого испытуемого (R1 – R2) и занести в соответствующий столбец таблицы.
Вычислить квадраты разностей рангов - (R1 – R2)2
Вычислить сумму квадратов разностей рангов - (R1 – R2)2.
Подставить полученное значение суммы в формулу для вычисления коэффициента ранговой корреляции Спирмена:
Анализ результатов и выводы
Проверить статистическую значимость полученного коэффициента корреляции r:
а) выбирается уровень значимости = 0,05;
б) по таблице (см. приложение 4) определяется критическое значение коэффициента корреляции при = 0,05 и n = 20.
Если r rкрит, то гипотеза Н0 – не верна, принимается гипотеза Н1 о том, что r 0.
Сделать вывод о константности теста.
Тест обладает хорошей константностью, если полученный коэффициент корреляции больше 0,80.
Валидность теста
По определению А. Анастази: “Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает”17. Валидность по своей сути — это комплексная характеристика измерительной процедуры, оценивающая пригодность методики для измерения того, для чего она была создана, и ее действенность, эффективность. Проверка валидности методики называется валидизацией. Она состоит в сопоставлении результатов, полученных при применении диагностической методики к группе испытуемых, с данными той же группы испытуемых, но полученными по некоторому внешнему критерию. Количественным показателем валидности является коэффициент валидности, который определяется путем вычисления коэффициента корреляции, характеризующей тесноту связи между баллами по тесту и баллами по внешнему критерию. В зависимости от характера используемых измерительных шкал вычисляют либо коэффициент линейной корреляции по Пирсону (при использовании шкалы интервалов или шкалы отношений), либо коэффициент ранговой корреляции по Спирмену (при использовании порядковой шкалы). Тест считается валидным, если коэффициент корреляции статистически значим. При этом низким признается коэффициент валидности порядка 0,20—0,30, средним — 0,30—0,50 и высоким — свыше 0,6018.
В психометрике выделяется ряд видов валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия.
1. Содержательная валидность или валидность “по содержанию” определяется степенью представленности в заданиях или пунктах теста содержания измеряемого свойства. Этот вид валидности особенно важен для тестов достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3—4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала? На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность “по содержанию” также важна для тестов способностей, так как содержание заданий, их разнообразие и пропорция должны воспроизводить содержание, состав и пропорцию психологических элементов, входящих в сложную способность. Она имеет значение и для критериально-ориентированных тестов. Иногда эту валидность еще называют логической валидностью.
2. Эмпирическая валидность состоит в способности теста измерять некоторое психическое явление, от наличия или выраженности которого зависят показатели, характеризующие эффективность той или иной сферы практической деятельности людей. Такими показателями являются успеваемость, преступность, заболеваемость, аварийность, производительность труда и т.д. Их стремятся либо повысить, либо понизить, с помощью средств различных наук, в том числе психологии. Поэтому возникает потребность в измерении тех психологических переменных, от которых зависят эти показатели. Указанные показатели используются как внешние критерии эмпирической валидности теста, измеряющего соответствующую психологическую переменную. Эмпирическая валидизация предполагает измерение корреляция между баллами по тесту и показателем практической деятельности, избранным в качестве внешнего критерия валидности.
В зависимости от временного статуса внешнего критерия различают следующие три вида валидности.
3. Текущая валидность (валидность “по одновременности”) определяется с помощью внешнего критерия, по которому информация собирается одновременно с измерениями по проверяемой методике. Процедура текущей валидизации состоит в синхронном сборе данных по критерию и по тесту. В качестве такого критерия может использоваться: успеваемость, производительность, текучесть кадров, заболеваемость и т.п..
4. Прогностическая (предсказывающая) валидность определяется по внешнему критерию, информация по которому собирается через некоторое время после испытания. Внешним критерием может быть успешность выполнения какой-либо деятельности, до начала выполнения которой с помощью валидизируемого теста оценивалась способность человека к данной деятельности. Этот способ валидизации наиболее соответствует задаче диагностики — предсказанию будущей успешности, Однако применять его очень трудно, так как точность прогноза находится в обратной зависимости от длительности временного промежутка между измерением критерия и проведением теста. Чем больше этот период, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики.
5. Ретроспективная валидность определяется на основе критерия, состояние которого оценивалось в прошлом - до проведения испытания с помощью валидизируемой методики. Процедура ретроспективной валидизации может быть использована для быстрого получения сведений о предсказательных возможностях методики. Например, для оценки возможности предсказания успеваемости по результатам теста способностей можно сопоставить прошлые оценки успеваемости с результатами испытания их способностей в настоящее время.
Конвергентная и дискриминантная валидность. В тесте желательно иметь только такие пункты, которые однозначно информировали бы только об одном факторе, подлежащем измерению. Но пункты теста на практике детерминируются как релевантными, так и иррелевантными факторами. Для характеристики способности теста измерять релевантный фактор и противостоять действию иррелевантных факторов используются следующие два вида валидности.
6. Конвергентная валидность состоит в способности теста информировать о релевантном факторе, выступающем в качестве предмета измерения. Она обеспечивается соответствием пунктов измеряемому фактору.
7. Дискриминантная валидность - это способность теста компенсировать искажающее действие иррелевантных факторов на результаты теста. Она достигается путем балансировки пунктов относительно иррелевантных факторов. Пункты считаются сбалансированными относительно иррелевантных факторов, если на множестве всех пунктов теста ни один иррелевантный фактор не встречается чаще других. Эмпирически дискриминантная валидность выражается в отсутствии значимой корреляции с тестом, измеряющим концептуально независимое свойство.
8. Конструктная валидность – это степень репрезентации измеряемого психологического конструкта в результатах теста. Она характеризует степень представленности теоретических положений о сущности и структуре измеряемой психологической переменной в заданиях тестах. При наличии валидизированного теста, измеряющего данный конструкт, конструктная валидность определяется путем вычисления коэффициента корреляции между баллами испытуемых по создаваемому тесту и старому тесту.
При приведении данных о валидности разработанной методики необходимо указать, вид валидности, сведения о численности и особенности выборки, которая использовалась для проведения валидизации. Это позволяет оценить, насколько пригодна данная методика для обследования той или иной группы. Если обследуемая выборка испытуемых, существенно отличается от той, на которой проводилась проверка валидности, необходимо заново провести процедуру валидизации.