Коррекция содержимого тестовых заданий, содержащих объекты

• выполнить процедуру экспорта НТЗ (тестовых материалов) в текстовый файл со служебными символами

• провести проверку и коррекцию всех заданий в текстовом документе, внимательно следя за тем, чтобы не нарушить служебные ссылки (или самостоятельно их проставить)

• создать новый НТЗ

• выполнить процедуру импорта из текстового файла в НТЗ

5. Приведение расположения всех заданий одной формы к одинаковой схеме

• выполнить процедуру экспорта НТЗ (тестовых материалов) в документ Word. В том случае, когда НТЗ содержит много заданий и много объектов (понятие «много» определяется мощностью и системными установками Вашего ПК) - сформируйте несколько документов (функция экспорта тестовых материалов в документ Word выделенного узла структуры)

• провести проверку всех заданий в текстовом документе, затем внести исправления в режиме модификации заданий Конструктора тестов. При модификации ориентироваться на уникальный идентификатор задания, располагаемый в фигурных скобках (В конструкторе тестов в режиме просмотра списка – это первый столбец таблицы).

Особенности выполняемых процедур:

При работе с WinWord

• При создании документа используется шаблон SWAP.DOT, который должен быть размещен вместе в одном каталоге с программой SWAP_NEW.EXE. В том случае, когда SWAP.DOT отсутствует программа формирует шаблон самостоятельно, ошибка не возникает, лишь появляется дополнительное сообщение. Работа с шаблоном более корректна, но не критична.

• При работе программа автоматически активизирует и закрывает приложения, в которых были созданы элементы тестовых заданий; в некоторых случаях активизация может происходить дважды: второй раз уже в самом документе Word (например, при использовании “Equation” для корректного отображения размера формулы).

• Программой SWAP автоматически создается и активизируется новый документ WinWord, который является невидимым для пользователя в случае, если WinWord не был активизирован до момента запуска функции импорта, и видимым, если WinWord был активен до момента запуска функции импорта. Для корректного переноса не рекомендуется самостоятельно переключать окна WinWord (активизировать документы). Однако, можно наблюдать за заполнением документа. Для этого необходимо до начала вызова функции импорта открыть документ Word, затем, после определения имени файла с импортируемыми данными, переключиться на него на панели задач.

• Заметим, что объект Clipboard используется сразу всеми приложениями Microsoft Windows, поэтому его содержимое при переключении в другое приложение может измениться. Мы рекомендуем Вам при выполнении операций импорта НТЗ, содержащего OLE-объекты, в документ Word не выполнять другие программы, допускающие работу с Clipboard.

В том случае, когда объектом является документ Word, то SWAP переносит все его содержимое вместе с форматированием. Рекомендуем:

а) при создании объектов, содержащих графику, группировать полученный сложный объект.

б) не оставлять пустых абзацев в конце текста. Если при работе непосредственно в среде АСТ эти абзацы не будут заметны, то при переносе в текстовый документ вы тащите за собой пустое пространство, теряя при этом рабочее поле.

SWAP работает только с текстовым содержанием, а для объектов выдает его уникальный номер в фигурных скобках. Можно заранее создать OLE-билиотеку и в текстовом файле указать ссылки на уникальные идентификаторы OLE-объектов, которые отображаются в верхней строке OLE-библиотеки.

Задание 2. Составить оставшиеся из лабораторной работы №4 20 ТЗ в текстовом редакторе согласно требованиям к оформлению, которые представлены выше.

Задание 3. Выполнить процедуру импорта из текстового файла тестовых заданий в накопитель ТЗ, которые созданы в задание 2.

Задание 4. Созданные 20 тестовых заданий в конструкторе АСТ лабораторной работы №4 экспортировать в текстовый файл.

Задание 5. Используя 20 ТЗ созданные в АСТ конструкторе лабораторной работы №4 и импортированные 20 ТЗ из текстового файла в НТЗ создать единый НТЗ.

Лабораторная работа №6

Генератор тестов

Цель работы:

• Ознакомиться с режимом генератора тестов;

• Научиться создавать гетерогенный тест.

Задание 1. Ознакомиться с режимом генератора тестов. Внимательно прочитать ниже указанную инструкцию.

Общие понятия

Генератор тестов - предназначен для определения параметров генерации теста из заданий, содержащихся в НТЗ. Можно задать: время тестирования, алгоритм выбора ТЗ, режим контроля, способы оценивания, информацию, отображаемую на экране.

Опции по умолчанию – из всех параметров теста меняется лишь шкала оценок

Состав теста – определяется количество заданий из каждого раздела

Шкала отметок – дает возможность установить параметры оценивания результатов теста.

В режиме генератора тестов определяется семейство тестов, динамически формируемых из тестовых заданий, содержащихся в НТЗ.

• Функциональное меню Генератора тестов содержит команды:

• Новый тест добавляет новый тест в семейство тестов;

• Переименовать изменяет наименование теста;

• Удалить удаляет тест из списка семейства тестов;

• Выход осуществляет выход в Диспетчер Конструктора Тестов.

• 

Рис.1 Окно генератора тестов

Состав теста

При нажатии кнопки Состав теста открывается окно «Структура накопителя ТЗ».

Рис.2. Изображение диалогового окна

формирования состава теста.

Табл.1.Содержание таблицы диалогового окна формирования состава теста

В нижней части окна под таблицей расположены кнопки: “Выйти и сохранить” - сохраняет установленные параметры и возвращается в окно “Генератор теста”; и кнопка “Отменить” – выходит из режима Состав теста без запоминания введенных изменений.

Алгоритм предъявления заданий

Строго последовательный - задания будут предъявляться в соответствии с их номерами (№ в с.п.), которые можно просмотреть (изменить) в расширенном списке ТЗ.

По возрастанию сложности - задания будут предъявляться в порядке возрастания их трудности (мера трудности), которую можно просмотреть (изменить) в расширенном списке ТЗ.

Случайного выбора - задания предъявляются в случайном порядке.

Адаптивная классификация - используется алгоритм адаптивного предъявления заданий для определения класса уровня знаний тестируемого.

Адаптивная аттестация - используется алгоритм адаптивного предъявления заданий, которые выбираются только для заданного тестируемым класса трудности (или соответствующего ему уровня знаний).

Для задания количества заданий, входящих в тест из каждого узла дерева структуры, нажмите клавишу Состав теста. Откроется диалоговое окно, в котором представлена структура НТЗ в виде таблицы. В поле Выбрать шт. необходимо впечатать количество заданий для предъявления из выделенного узла, в поле Выбрать % отобразиться процентное отношение.

В том случае, когда это поле во всех строках таблицы равно 0, это означает, что все ТЗ будут включены в тест (алгоритм выбора отключен). Если хотя бы в одной строке значение данного поля отлично от 0, то тест будет формироваться с учетом показателей этого поля (алгоритм выбора активизирован). По умолчанию алгоритм выбора отключен.

Шкала оценивания

В системе используется четырехуровневая шкала результатов тестирования.

• 100 бальная рейтинговая шкала - процентильный балл

• Двубальная шкала

• Классы

• Подкласс (Категория)

В верхней центральной части окна размещается стобалльная шкала, на которой каждая категория имеет свой диапазон.

Под шкалой расположена таблица соответствия четырех шкал.

Рис.3. Изображение диалогового окна шкалы оценивания.

Порядок формирование шкалы.

1. При первом входе в режим отражаются шкалы, установленные системой по умолчанию.

2. Если Вам необходимо удалить один из классов, установите на него указатель мыши, щелкните для выделения и выполните команду меню Удалить.

3. Для добавления класса необходимо выделить строку, после которой предполагается добавить новую строку. Выполнить команду меню Добавить. Появиться новая строка после выделенной с пустым полем класса. Рейтинг рассчитывается автоматически.

4. Двойным щелчком мыши на одном из выделенных полей вызывается режим его редактирования. Введите значение данного класса, категории или рейтинга.

5. Граница между зачетом и незачетом устанавливается при перемещении указателя соответствия отметки и зачета.

6. При помощи мышки можно передвигать границы классов, для этого укажите стрелкой мыши на границу между отметками, указатель мыши поменяет свой вид на двунаправленную стрелку, нажмите левую кнопку мыши и, не отпуская ее, передвиньте границу отметки, отпустите левую кнопку мыши.

Примеры шкал

а)

б)

Способы оценивания

Определяют, в каком виде будут предоставлены результаты по окончании тестирования:

• Зачёт/Незачёт,

• Класс. Выставляется класс, а в скобках – категория.

• Рейтинг.

Для определения границ диапазона отметок и зачет/незачета нажмите клавишу Шкала оценивания.

Расчет итогового результата

Оценка (рейтинг) рассчитается на основе выбранного алгоритма расчета рейтинга. Для определения способа расчета рейтинга нажмите клавишу Алгоритмы. Откроется окно с изображением трех формул, выберите нужный алгоритм, щёлкнув на его переключателе левой кнопкой мыши (переключатель должен поменять свой цвет на чёрный).

без учета весовых коэффициентов (меры трудности)

без учета весовых коэффициентов (меры трудности), но с учетом принадлежности ТЗ к базовым элементам

с учетом весовых коэффициентов (меры трудности).

Мера трудности заданий, с которой оперирует система во время тестирования, определяется на этапе задания параметров теста. Экспертная - мера, задаваемая в режиме списка ТЗ. Определяемая АСТ - мера, формируемая системой по результатам тестирования.

Рис.4. Изображение диалогового окна выбора алгоритма

оценивания результата тестирования.

В нижней части окна расположены кнопки: “Отмена” - возвращает измененные параметры в исходное положение; “Выйти и сохранить” - при нажатии возвращается в окно “Генератор Теста” с сохранением изменений.

Режимы контроля

Самоконтроль - используется при контроле уровня знаний, допускается прерывание процесса тестирования, результаты тестирования не регистрируются.

Мягкий контроль - используется при контроле уровня знаний, допускается прерывание процесса тестирования, регистрация результатов тестирования не обязательна и осуществляется по желанию тестируемого.

Жёсткий контроль - используется при контроле уровня знаний, не допускается прерывание процесса тестирования, регистрация результатов тестирования обязательна.

Задачи Генератора тестов

Добавление нового теста в «Семейство тестов»:

Если вам нужно добавить новый тест в семейство тестов нажмите кнопку «Добавить» и новый тест появиться в списке «Семейство тестов».

Удаление теста из «Семейства тестов»:

1. Выделите тест, который вы хотите удалить;

2. Нажмите кнопку «Удалить», в результате тест удалиться из списка «Семейство Тестов».

Переименование теста:

1. Выделите тест;

2. Выберите кнопку «Переименовать»;

3. В текстовом поле введите новое название теста.

Выбор алгоритма тестирования:

• Если вы хотите, чтобы ТЗ предъявлялись субъекту тестирования в том порядке, в котором вы их создали в “Мастере тестовых заданий”, то в “Конструкторе Тестов” в меню выбрать “Генерация Тестов” и в окне “Генератора тестов” выбрать в списке “Алгоритм тестирования” опцию “Строго последовательный”.

• Для предъявления ТЗ по возрастанию сложности, в “Конструкторе Тестов” в меню выбрать “Генерация Тестов” и в окне “Генератора тестов” выбрать в списке “Алгоритм тестирования” опцию “по возрастанию сложности”.

• При выборе адаптивного алгоритма тестирования, в “Конструкторе Тестов” в меню выбрать “Генерация Тестов” и в окне “Генератора тестов” выбрать в списке “Алгоритм тестирования” опцию “Адаптивный”.

• Допустим, что вы хотите выбрать алгоритм, при котором ТЗ предъявляются субъекту тестирования в случайном порядке. Для этого в “Конструкторе Тестов” в меню выбрать команду “Генерация Тестов” и в окне “Генератора тестов” выбрать в списке “Алгоритм тестирования” опцию “Случайный выбор”.

• Предположим, преподаватель хотел бы сгенерировать гетерогенный тест, т.е. тест состоящий из совокупности тестовых заданий по разным дисциплинам (в данном случае мы имеем дело с направленностью теста), и он выбирает алгоритм тестирования, когда задания предъявляются субъекту тестирования случайным образом, но количество ТЗ ограничено. Следовательно, перед преподавателем стоит задача выбора определенного количества заданий из каждой дисциплины, упираясь на то, какая дисциплина (раздел) наиболее актуальна на данный период времени. Для решения этой задачи в “Генераторе теста” рядом с опцией алгоритмов тестирования “Случайный выбор” находится кнопка “Подробнее”, при нажатии которой открывается окно “Структура накопителя ТЗ”. В этом окне вы устанавливаете необходимые параметры и нажимаете кнопку “Выйти и сохранить”. Для создания, переименования, удаления тестов и сохранения изменений параметров существуют командные кнопки, выделенные в отдельную группу слева.

Задание 2. Из созданного в лабораторной работе №5 НТЗ сгенерировать гетерогенный тест:

На основе созданной в предыдущих лабораторных работах БТЗ сгенерировать 3 теста:

1. Использовать алгоритм случайного выбора. Количество ТЗ равно 20, причем они выбираются из каждого нижнего узла дерева структуры пропорционально распределенным в них 40 заданиям. Продумать шкалу оценивания. Режим контроля - жесткий. Имя теста – Тест1

2. Разбить БТЗ на две по 20 вопросов, причем количество и сложность заданий в каждом нижнем узле должны быть примерно одинаковыми. На основе каждой БТЗ сгенерировать тест из всех входящих в нее 20 вопросов, используя строго последовательный алгоритм предъявления ТЗ. Дать им имена – Тест2 и Тест3 соответственно.

Задание 3. На основе созданного Теста2 провести тестирование всех студентов вашей подгруппы, сохранив результаты каждого студента по каждому заданию в виде строки из 1 и 0 – профиля ответов испытуемого. Объединив профили всех испытуемых, составить матрицу результата тестирования (см. рис.1 лабораторной работы №7).

Лабораторная работа №7 Расчет характеристик тестовых заданий на основе анализа статистических данных в среде Excel Цель работы:

• Ознакомиться с основными статистическими функциями Excel для обработки результатов тестирования;

• Научится рассчитывать характеристики тестовых заданий используя классическую теорию тестирования;

• провести обработку матрицы тестовых результатов.

Задание 1. Ознакомиться с дескриптивными статистиками и специальными функциями в Excel для проведения статистического анализа выборочных характеристик данных.

Общие понятия

При обработке результатов тестирования в терминах математической статистики и теории вероятностей используются описательные или дескриптивные статистики: минимум, максимум, среднее, дисперсия, стандартное отклонение, медиана, квартили, мода. Рассмотрим их краткие характеристики и основные приемы вычислений в среде Excel.

Минимум и максимум — это минимальное и максимальное значения переменной.

Среднее значение — сумма значений переменной, деленная на количество значений переменной.

Для оценки степени разброса (отклонения) какого-то показателя от его среднего значения, наряду с максимальным и минимальным значениями, используются понятия дисперсии и стандартного отклонения.

Дисперсия выборки или выборочная дисперсия – это мера изменчивости переменной. Дисперсия меняется от нуля до бесконечности. Крайнее значение 0 означает отсутствие изменчивости, когда значения переменной постоянны.

Дисперсия характеризует разброс точек x_i вокруг x_ср, но имеет другую размерность. Поэтому нельзя сравнить значение D со значением x_ср, то есть определить велик ли разброс по сравнению со средним. Чтобы устранить этот недостаток используется стандартное отклонение.

Стандартное отклонение, среднее квадратическое отклонение вычисляется как корень квадратный из дисперсии. Чем выше дисперсия или стандартное отклонение, тем сильнее разбросаны значения переменной относительно среднего.

Медиана разбивает упорядоченный ряд вариант выборки на две равные части. Половина значений переменной лежит ниже медианы, половина — выше. Медиана дает общее представление о том, где сосредоточены значения переменной, иными словами, где находится ее центр. В некоторых случаях медиана более удобна, чем среднее.

Рассмотрим способы определения медианы при различных значениях N. Для нахождения медианы измерения записывают в ряд по возрастанию значений. Если число измерений N нечетное, то медиана численно равна значению этого ряда, стоящему точно в середине, или на (N+1)/2 месте. Например, медиана пяти измерений: 9, 15, 20, 26, 27 – равна 20 – значению, стоящему на третьем месте (N+1)/2=(5+1)/2=3.

Если число измерений четное, то медиана численно равна среднему арифметическому значений ряда, стоящих в середине, или на N/2 и N/2+1 местах. Например, медиана десяти измерений: 4, 5, 5, 6,7, 8, 8, 9, 9, 9 – равна 7,5 (7+8)/2=7,5 – среднему арифметическому значений ряда, стоящих на пятом и шестом местах (N/2=10/2=5 и N/2+1=5+1=6).

Квартили представляют собой значения, которые делят две половины выборки (разбитые медианой) еще раз пополам (от слова кварта — четверть).

Различают верхнюю квартиль, которая больше медианы и делит пополам верхнюю часть выборки (значения переменной больше медианы), и нижнюю квартиль, которая меньше медианы и делит пополам нижнюю часть выборки.

Таким образом, три точки — нижняя квартиль, медиана и верхняя квартиль - делят выборку на 4 равные части.

Мода представляет собой максимально часто встречающееся значение переменной в выборке. Например, если исследовалось число правильно решенных учащимися задач, то модой будет такое число задач, для которого число учащихся, правильно решивших именно это число задач, максимально. Сложность в том, что редкая совокупность имеет единственную моду. (Например: 1, 6, 6, 8, 8, 8, 9, 10 – мода = 8).

Ассиметрия – это свойство распределения выборки, которое характеризует несимметричность распределения случайной величины. Асимметрия бывает положительной и отрицательной. Положительная сдвигается влево, а отрицательная – вправо.

Эксцесс – это мера крутости кривой распределения. Кривая распределения может быть островершинной, плосковершинной, средне вершинной.

Теперь рассмотрим, как эти показатели можно рассчитать в среде Excel.

Использование специальных функций

Стандартные функции используются в программе Excel только в формулах. Вызов функции состоит в указании в формуле имени функции, после которого в скобках указывается список параметров. Отдельные параметры разделяются в списке точкой с запятой. В качестве параметра может использоваться число, адрес ячейки или произвольное выражение, для вычисления которого также могут использоваться функции. Стандартные функции можно использовать для вычисления выборочных характеристик, таких как: среднее значение, мода, медиана, дисперсия, стандартное отклонение, эксцесс, асимметрия, квартиль, а также можно найти максимальный и минимальный элементы.

Рассмотрим следующий пример. Нам нужно методом описательной статистики провести статистический анализ числа правильно выполненных тестовых заданий контрольной группой студентов:

Введем данные в столбец А и вычислим требуемые параметры, используя Мастер функций. Вычислять значения начнем с ячейки А15. В первую очередь вычислим среднее значение.

Если начать ввод формулы щелчком на кнопке Вставить функцию (в строке формул) , то откроется диалоговое окно – Мастер функций, облегчающий выбор нужной функции. Также вызвать Мастера функций можно при помощи главного меню, расположенного в верхней части экрана, выбрав команду Вставка  Функция. В списке Категория выбирается категория, к которой относится функция, в нашем случае мы выберем СТАТИСТИЧЕСКИЕ, а в списке Функция — конкретная функция данной категории.

Рис. 1 Вызов Мастера функций

Чтобы вычислить среднее значение, в пункте Выберите функцию щелчком выберем СРЗНАЧ. После щелчка на кнопке ОК открывается диалоговое окно Аргументы функции.

В пункте Число1 нам необходимо указать диапазон ячеек, в которых находятся значения, среднее которых мы ищем. Установите курсор в поле ввода Число1, затем, не закрывая диалогового окна, выделите диапазон А2:А14, для этого щелкните на ячейке А2 и, удерживая левую клавишу мыши, спуститесь до ячейки А14 включительно.

Рис. 2 Диалоговое окно Аргументы функции

Щелкните по кнопке Оk. Полученное среднее значение отразится в ячейке А15. Рядом в ячейке В15 напишите Среднее. Теперь сделайте активной ячейку А16, здесь будет отображаться значение моды. Далее поступаем аналогично предыдущим указаниям: вызываем Мастера функций, выбираем категорию Статистические и функцию МОДА. После нажатия кнопки Ok, в диалоговом окне Аргумент функции в пункте Число1 указываем диапазон тех же ячеек А2:А14. Нажимаем кнопку Ok. В ячейке В16 запишите Мода.

Для вычисления медианы, дисперсии, стандартного отклонения, эксцесса, асимметрии, максимального и минимального элементов используются соответствующие функции: МЕДИАНА, ДИСП, СТАНДОТКЛОН, ЭКСЦЕСС, СКОС, МАКС, МИН. Вычисления производятся аналогично.

Чтобы вычислить квартиль используется функция КВАРТИЛЬ, которая имеет формат КВАРТИЛЬ(массив, часть), где массив – интервал ячеек, содержащих значения случайной величины; часть определяет какая квартиль должна быть найдена (0 – минимальное значение, 1 – нижняя квартиль, 2 – медиана, 3 – верхняя квартиль, 4 – максимальное значение распределения).

В результате всех вычислений получается следующие данные (см. рис.3).

Рис. 3 Описательная статистика, полученная при вычислении стандартных функций

Использование инструмента Пакет анализа

Эти же данные можно получить, если использовать инструмент Пакета анализа.

В пакете Excel помимо мастера функций имеется набор более мощных инструментов для работы с несколькими выборками и углубленного анализа данных, называемый Пакет анализа, который так же может быть использован для решения задач статистической обработки выборочных данных.

Для установки пакета Анализ данных в Excel сделайте следующее:

- в меню Сервис выберите команду Надстройки;

- в появившемся списке установите флажок Пакет анализа.

Для использования статистического пакета анализа данных необходимо:

• указать курсором мыши на пункт меню Сервис и щелкнуть левой кнопкой мыши;

• в раскрывающемся списке выбрать команду Анализ данных (если команда Анализ данных отсутствует в меню Сервис, то необходимо установить в Excel пакет анализа данных);

• выбрать строку Описательная статистика и нажать кнопку Оk;

• в появившемся диалоговом окне указать входной интервал, так же как мы это делали при использовании стандартных функций. В нашем случае этот интервал остается прежним А2:А14;

• указать выходной интервал, то есть ввести ссылку на ячейку, в которую будут выведены результаты анализа. Выберите ячейку А25.

• в разделе Группирование переключатель устанавливается в то положение, по которому происходит группировка: по столбцам или по строкам. Это зависит от того, как записаны данные. В нашем случае группирование происходит по столбцам, т.к. данные записаны в столбец.

• установить флажок в поле Итоговая статистика и нажать Ок.

На рисунке 4 проиллюстрирован результат выполненных действий.

Рис. 4

В итоги получаются следующие данные (см. рис. 5).

Рис. 5 Описательная статистика, полученная

при помощи пакета анализа

Как мы видим, при использовании пакета анализа вычисляется больше показателей. Интервал – разность между минимальным и максимальным элементами. Сумма – количество правильно решенных задач, счет – объем выборки. Объем выборки можно вычислить и при помощи стандартной статистической функции СЧЕТ, а количество правильно решенных задач – используя Автосумму на панели инструментов. Работа с ними реализуется так же как и с другими функциями, рассмотренными выше.

Проведение корреляционного анализа

Корреляционный анализ – это группа статистических методов, направленная на выявление и математическое представление структурных зависимостей между выборками.

Оценку корреляции величин начинают с высказывания гипотезы о возможном характере зависимости между их значениями. Чаще всего допускают наличие линейной зависимости. В таком случае мерой корреляционной зависимости является величина, которая называется коэффициентом корреляции.:

• коэффициент корреляции (обычно обозначаемый греческой буквой ρ) есть число, заключенное в диапазоне от -1 до +1;

• если это число по модулю близко к 1, то имеет место сильная корреляция, если к 0, то слабая;

• близость ρ к +1 означает, что возрастанию одного набора значений соответствует возрастание другого набора, близость к -1 означает обратное;

• значение ρ легко найти с помощью Ехсе1 без всяких формул (разумеется, потому, что в Ехсеl они встроены).

В MS Excel для вычисления парных коэффициентов линейной корреляции используется специальная функция КОРРЕЛ (массив1; массив2), где массив1 – ссылка на диапазон ячеек первой выборки (X); массив2 – ссылка на диапазон ячеек второй выборки (Y).

При большом числе наблюдений, когда коэффициенты корреляции необходимо последовательно вычислять для нескольких выборок, для удобства получаемые коэффициенты сводят в таблицы, называемые корреляционными матрицами.

Корреляционная матрица — это квадратная таблица, в которой на пересечении соответствующих строки и столбца находится коэффициент корреляции между соответствующими параметрами.

В MS Excel для вычисления корреляционных матриц используется процедура Корреляция из пакета Анализ данных. Процедура позволяет получить корреляционную матрицу, содержащую коэффициенты корреляции между различными параметрами.

Для реализации процедуры необходимо:

1. выполнить команду Сервис - Анализ данных;

2.в появившемся списке Инструменты анализа выбрать строку Корреляция и нажать кнопку ОК;

3. в появившемся диалоговом окне указать Входной интервал, то есть ввести ссылку на ячейки, содержащие анализируемые данные. Входной интервал должен содержать не менее двух столбцов.

4. в разделе Группировка переключатель установить в соответствии с введенными данными (по столбцам или по строкам);

5. указать выходной интервал, то есть ввести ссылку на ячейку, с которой будут показаны результаты анализа. Размер выходного диапазона будет определен автоматически, и на экран будет выведено сообщение в случае возможного наложения выходного диапазона на исходные данные. Нажать кнопку ОК.

В выходной диапазон будет выведена корреляционная матрица, в которой на пересечении каждых строки и столбца находится коэффициент корреляции между соответствующими параметрами. Ячейки выходного диапазона, имеющие совпадающие координаты строк и столбцов, содержат значение 1, так как каждый столбец во входном диапазоне полностью коррелирует сам с собой.

Рассматривается отдельно каждый коэффициент корреляции между соответствующими параметрами. Отметим, что хотя в результате будет получена треугольная матрица, корреляционная матрица симметрична. Подразумевается, что в пустых клетках в правой верхней половине таблицы нахо­дятся те же коэффициенты корреляции, что и в нижней левой (симметрично расположенные относительно диагонали).

Задание 2. Провести обработку матрицы результатов тестирования (Тест2) по классической теории тестирования. Выполнять каждый шаг описанного ниже алгоритма в среде Excel.

Классическая теория тестирования

Рассмотрим самые простые и необходимые процедуры статистической обработки результатов тестирования знаний и методы оценки качества теста в соответствии с классической теорией тестирования.

Обозначим через xij числовую оценку успешности выполнения j-го задания, выполненного i-м испытуемым. Результаты тестирования обычно представляются в виде матрицы {xij} с n строками и m столбцами (i=1,…,n; j=1,…,m). В практике тестирования принято, как правило, пользоваться дихотомической шкалой оценок результатов, когда множество возможных оценок состоит всего из двух элементов {0;1}: 0 – задание не выполнено, 1 – выполнено правильно (рис.1).

Рис. 1

Процесс статистической обработки матрицы результатов тестирования будем рассматривать последовательно, по шагам. Ниже рассматриваются эти шаги и приводятся соответствующие формулы. При выполнении этих шагов в среде Ехсе1 можно практически обойтись без формул (разумеется, потому, что в Ехсеl они встроены).

1 шаг. Вычисляются индивидуальные баллы испытуемых yi (i=1,…,n), показывающие результат выполнения теста каждым студентом:

.

Поскольку для проверки статистических гипотез, которые применяются в классической теории тестов, используют предположение о нормальном распределении суммарных баллов испытуемых, то рекомендуется исследовать распределение частот. Для сравнения распределения баллов с нормальным можно использовать любой из критериев, применяемых обычно для этой цели.

2 шаг. Вычисляются средние результаты суммарных баллов испытуемых:

.

3 шаг. Вычисляются средние результаты испытуемых по каждому заданию:

.

Для дихотомических данных величины, вычисляемые по аналогичной формуле, обозначаются через pj и традиционно называются в тестологии мерой трудности задания j (j=1,2,…,m):

.

Заметим, однако, что чем больше величина коэффициента pj, тем большая часть испытуемых успешно справляется с заданием j. Так что на самом деле коэффициенты pj (j=1,2,...,m) должны интерпретироваться как показатели легкости заданий.

4 шаг. Вычисляется дисперсия и стандартное отклонение суммарных баллов испытуемых:

, .

5 шаг. Вычисляется дисперсия результатов испытуемых по j–ому заданию (j=1,…,m). Если успешность выполнения задания оценивается баллами 0 или 1, мера вариации определяется по формуле:

.

Когда множество оценок состоит из более чем двух значений, применима формула:

.

Вычислив дисперсию, можно найти и стандартное отклонение .

6 шаг. Определяется коэффициент "влияния" тестового задания - связь каждого j–го задания (j=1,…,m) с суммой баллов по всему тесту. Для этого можно использовать коэффициент корреляции Пирсона:

.

Тестовые задания, плохо коррелирующие с суммой баллов (Rj<0,15), должны быть исключены.

7 шаг. Определяется попарная корреляционная связь заданий между собой. Здесь тоже можно использовать коэффициент корреляции Пирсона rjk, (j,k=1, 2,…,m):

.

Для дихотомических оценок успешности выполнения заданий тот же результат можно получить, оценив эту связь посредством коэффициента корреляции (j,k=1, 2,…,m) для такого рода данных:

,

где A– количество испытуемых, верно выполнивших задания j и k; B, - количество испытуемых, верно выполнивших задание j и неверно - задание k; C - количество испытуемых, неверно выполнивших задание j и верно задание k; D - количество испытуемых, неверно выполнивших задания j и k. Очевидно, величины A,B,C и D вычисляются по формулам:

, , , .

Тестовые задания, имеющие отрицательные коэффициенты корреляции, должны быть исключены.

8 шаг. Вычисляется индекс Ij(j=1, 2, … m) дискриминативности (дискриминации) задания, то есть его различающая способность, указывающая на возможность разделять отдельных испытуемых по уровню выполнения теста в целом. Для этого из общей совокупности испытуемых выделяют две подгруппы – тех, кто получил самые высокие суммарные баллы, и тех, кто получил самые низкие. Тогда индекс дискриминативности может быть определен как разность между относительными численностями испытуемых, правильно выполнивших задание jв этих двух подгруппах. Например, упорядоченную совокупность суммарных баллов делят на три части и сравнивают результаты выполнения каждого задания j первой и последней третями испытуемых.В этом случае для дихотомических данных индекс приобретает вид:

Чем больше коэффициент Ij, тем больше дискриминативность задания.

Другой способ – вычисление коэффициента дискриминации Dj:

, где

A – множество хорошо успевающих студентов,

B – множество плохо успевающих студентов, |A| - количество хорошо успевающих студентов.

Анализ и интерпретация коэффициента дискриминации

Этот коэффициент показывает, насколько лучше отвечали на данное задание хорошо успевающие студенты в сравнении с плохо успевающими. Для его расчета индивидуальные суммарные оценки располагаются в порядке возрастания. Затем в данном ряду выделяются крайние группы. Для получения наиболее устойчивых оценок необходимо анализировать верхние и нижние 25-27% испытуемых. Однако подобный подход возможен только для достаточного большого количества испытуемых. Если тестирование проводится на небольшой группе (до 50-ти человек), то можно брать верхние и нижние 33% группы или разделить группу на две половины. Коэффициент дискриминации должен превышать 0.3. (Тестовые задания можно классифицировать на "хорошие" (коэффициент дискриминации более 0,3), "приемлемые" (от 0,1 до 0,3) и "плохие" (менее 0,1)). Близкий к нулю коэффициент дискриминации показывает, что хорошо и плохо успевающие студенты выполняли это задание одинаково хорошо (плохо) и поэтому данное задание не вносит никакого вклада в общую оценку и не выполняет основной задачи теста - отделения лиц с низкими знаниями. Отрицательный коэффициент дискриминации четко указывает на невалидное задание, которое должно быть обязательно исключено или переделано. Отрицательный коэффициент дискриминации означает, что плохо успевающие студенты справлялись с заданием лучше хорошо успевающих. Такое бывает в том случае, когда вопрос по сложной теме сформулирован таким образом, что ответ очевиден. В этом случае хорошо успевающие студенты будут искать в задании подвох и выбирать не правильный ответ. Аналогичным образом это может произойти если наряду с легким ответом включен вариант который может быть правильным и в тексте условия не представлено данных, на основании которых его можно исключить. В любом случае, низкий или отрицательный коэффициент дискриминации означает, что задания не отвечают цели их составления и должны быть исключены.

9 шаг. Точечно-бисериальный коэффициент Bj для дихотомических оценок.

При наличии больших выборочных совокупностей дихотомических данных и нормального распределения индивидуальных сумм баллов рекомендуют рассчитывать для всех заданий бисериальные коэффициенты корреляции В_j (j=1, 2, … m):

где M_j1– среднее арифметическое сумм баллов по всему тесту для испытуемых, получивших по данному заданию 1 балл. M_j0– среднее арифметическое сумм баллов по всему тесту для испытуемых, получивших по данному заданию 0 баллов;. n_j1– число испытуемых, получивших по данному заданию 1 балл; n_j0– число испытуемых, получивших по данному заданию 0 баллов. Очевидно, входящие в формулу величины могут быть рассчитаны следующим образом:

,

Данный коэффициент указывает, насколько хорошо задание разделяет тех, кто хорошо справился со всем тестовым набором и тех, кому это не удалось. По сравнению с коэффициентом дискриминации точечно-бисериальный коэффициент имеет то преимущество, что он использует для своей оценки всех экзаменуемых, а не только верхние и нижние 27%.

Являясь обычным коэффициентом корреляции, точечно-бисериальный коэффициент изменяется в пределах от -1.00 до +1.00, приемлемыми считаются задания, у которых точечно-бисериальный коэффициент корреляции превышает 0.2.

Так же, как и в случае коэффициента дискриминации негативные значения указывают на неправильно составленное задание, поскольку лица, ответившие на него неправильно имеют более хорошие общие показатели. Такая задача нуждается в пересмотре и анализе дистракторов.

10 шаг. Очередной шаг делается на основе вектора корреляций {R_j} (или {В_j}), корреляционной матрицы } (или { }) и вектора коэффициентов трудности {p_j}. Из собрания тестовых заданий удаляются задания, не обладающие дискриминативностью, то есть задания слишком легкие (p_j>0,9) и слишком трудные (p_j <0,2). Затем исключаются задания, плохо коррелирующие с суммой баллов (R_j<0,15), и имеющие отрицательные коэффициенты корреляции (или r_jk).

Задание 3. Провести анализ полученных результатов. Анализ оформить в виде отчета. В отчете отразить пошаговую статистическую обработку результатов тестирования с интерпретацией результатов каждого шага.

Лабораторная работа №8

Проверка надежности и валидности теста.

Цель работы:

• Ознакомиться с основными подходами расчета надежности;

• Научиться рассчитывать надежность и погрешность тестового балла;

• Научиться оценивать валидность тестовых заданий.

Задание 1. Ознакомиться с методикой расчета надежности теста, погрешности измерения тестового балла и оценки валидности тестовых заданий.

Методика расчета надежности теста и погрешности измерения тестового балла

1. Общие положения

1.1. Надежность -- это степень повторяемости или степень постоянства эмпирических измерений, т.е. результатов тестирования.

1.2. Надежность теста, отражает точность и устойчивость результатов тестирования к воздействию посторонних случайных факторов. Тест называется надежным, если он дает одни и те же (или очень близкие) показатели для каждого испытуемого при повторном тестировании. Если тест не может дать тот же или близкий результат при повторном испытании для некоторой выборки испытуемых, значит, тест не обладает надежностью. При этом необходимо, чтобы испытуемые не изменили уровень подготовки перед вторым тестированием, и их мотивация к получению наилучших результатов осталась прежней. Надежность связана с понятием стандартной ошибки измерения: чем выше надежность, тем меньше стандартная ошибка измерения.

1.3. На практике обычно рассматриваются два подхода к расчету надежности: ретестовая надежность; надежность расщепленных частей теста.

1.4. Ретестовая надежность - это характеристика надежности педагогического измерения при повторном исследовании результатов испытуемых с помощью одного и того же теста по прошествии некоторого времени. Способ определения ретестовой надежности заключается в вычислении корреляции двух результатов для выборки испытуемых, прошедших тестирования через некоторое время.

1.5. Надежность расщепленных частей теста - это характеристика надежности педагогического измерения, получаемая путем анализа устойчивости результатов отдельных совокупностей тестовых заданий при однократном тестировании. Главным преимуществом этого способа является однократное тестирование.

2. Коэффициент надежности, дисперсия и стандартная ошибка

2.1. Согласно классической теории тестов, развитой в основном на базе нормативно-ориентированного подхода к тестированию, наблюдаемый тестовый балл X состоит из двух компонентов: истинного и ошибочного, что можно выразить в формуле:

X=T+E,

где X - это индивидуальный балл испытуемого; Т - истинный балл испытуемого по данному тесту; Е - ошибочная компонента индивидуального балла.

2.2. Дисперсия наблюдаемых тестовых баллов ( ) включает дисперсии истинной компоненты ( ) и дисперсии ошибочной компоненты ( ):

= + .

Дисперсия тестовых баллов может быть вычислена по формуле:

.

2.3. Надежность теста (коэффициент надежности теста - K) определяется отношением дисперсии истинной компоненты к дисперсии наблюдаемого тестового балла:

Если это отношение близко к нулю, то нормативно-ориентированная интерпретация результатов тестирования ненадежна. Если это отношение приближается к единице, то нормативно-ориентированная интерпретация результатов надежна. Коэффициент надежности должен интерпретироваться не только как характеристика самого теста, но и как характеристика выборки испытуемых и теста.

2.4. Стандартная ошибка измерения рассчитывается как квадратный корень из дисперсии ошибочной компоненты :

.

2.5. Стандартное отклонение рассчитывается, как квадратный корень дисперсии наблюдаемых баллов:

. (1)

3. Оценка надежности при повторном тестировании

3.1. Коэффициент надежности рассчитывается на основе коэффициента корреляции между двумя последовательными тестами на одной и той же выборке испытуемых.

3.2. Вычисления надежности теста осуществляется на основе коэффициента корреляции Пирсона между результатами двух тестов:

,(2)

где К - коэффициент надежности теста, - коэффициент корреляции Пирсона, x_i – результат (балл) при первом тестировании i-го испытуемого, y_i – результат (балл) при втором тестировании i-го испытуемого, N – общее количество испытуемых.

3.3. Для вычисления коэффициента надежности по указанной формуле необходимо по результатам двух тестов заполнить таблицу:

Номер студента	Индивидуальный балл по тесту (x)	Индивидуальный балл по тесту (y)	ху	x2	Y2
1	x1	y1	x1y1	(x1)2	(y1)2
2	x2	y2	x2y2	(x2)2	(y1)2
…	…	…	…	…	…
N	xN	yN	xNyN	(xN)2	(yN)2

Затем рассчитывается коэффициент надежности по формуле (2).

4. Оценка надежности при однократном тестировнии

4.1. Метод заключается в расщеплении теста на две половины. Для этого весь тест, состоящий из т заданий, разбивают на две половины, чаще всего - на нечетные и четные задания. Отдельно подсчитывают баллы испытуемых для нечетных и четных заданий теста, которые заносят в таблицу:

Номер студента	Индивидуальный балл по нечетным заданиям теста (x)	Индивидуальный балл по четным заданиям теста (y)	ху	x2	Y2
1	x1	y1	x1y1	(x1)2	(y1)2
2	X2	y2	x2y2	(x2)2	(y1)2
…	…	…	…	…	…
N	xN	yN	xNyN	(xN)2	(yN)2

4.2. Коэффициент надежности теста К по двум половинам далее рассчитывается по формуле (2).

4.3. Поскольку коэффициент К - это надежность теста вдвое меньшей длины, где количество заданий равно m/2, то надежность всего теста целиком будет выше, и она находится по формуле Спирмана - Брауна:

где К - надежность теста в целом; - надежности теста по двум половинам.

5. Интерпретация коэффициента надежности теста

Приемлемый коэффициент надежности можно определить с помощью следующей таблицы.

6. Вычисление погрешности измерения тестового балла

6.1. Зная оценку надежности теста, можно рассчитать стандартную ошибку тестового балла по формуле:

,

где - стандартная погрешность измерения (или стандартная ошибка индивидуального балла испытуемого); К - надежность теста; - стандартное отклонение индивидуальных баллов в тесте, полученное по формуле (1).

6.2. Доверительный интервал для погрешности измерения тестового балла находится на границах:

,

где x_i - индивидуальный балл i-го испытуемого, - стандартная погрешность измерения, - коэффициент, вычисляемый по статистическим таблицам, исходя из принятого уровня надежности , обычно принимается равным 10%, 5% или 1%. Приведем несколько взятых из стандартных таблиц значений этих параметров, которые могут использоваться при расчете.

6.3. Пример вычисления доверительного интервала для расчета погрешности измерения тестового балла.

Пусть вычислены по приведенным методикам в п.п.2-4 надежность теста К=0,91 и =4 - стандартное отклонение индивидуальных баллов в тесте. Испытуемый набрал по тесту 35 баллов из 50 возможных. Тогда при заданном риске допустить ошибку =5%, т.е. в пяти случаев из ста, его истинный бал находится в интервале: или . Другими словами, его истинный бал равен: . Если схема оценивания – дихотомическая (т.е. за одно ТЗ испытуемый может получить либо 0, либо 1 балл), то истинный балл испытуемого равен: .

Методика оценки валидности тестовых заданий

1. Основные термины и определения

1.1. Валидизация — исследование и анализ теста, с целью определить степень валидности теста, то есть определить, измеряет ли он реально то качество, для измерения которого он был предложен, можно ли делать на основании его результатов осмысленные выводы.

1.2. Валидность теста — характеристика теста, которая показывает, в какой мере тест измеряет именно то качество, для измерения которого он создан. Чем выше валидность теста, тем более обосновано использование результатов тестирования для выводов и предсказаний.

1.3. Валидизацию проводит специальный уполномоченный орган по экспертизе тестовых материалов с привлечением специалистов-тестологов и независимых специалистов-экспертов по различным предметным областям.

2. Область использования и сфера применимости теста

2.1. Тест должен сопровождаться пояснениями о рекомендуемой цели применения этого теста.

2.2. В тесте должно содержаться описание совокупности тестируемых (испытуемых), на которых рассчитан тест, например возраст тестируемых, определенный год обучения, уровень способностей и т.п.

2.3. Эксперт должен оценить: соответствует ли тест поставленным целям и годится ли он для тех учащихся на которых рассчитан и отразить это в протоколе экспертизы.

3. Содержательная валидность теста

3.1. Содержательная валидность теста — характеристика теста, отражающая степень уверенности, что задания теста достаточно полно отражают содержание определенной области знания, а владение всеми навыками, наличие которых измеряет тест, существенно для данной деятельности, и при этом тест не проверяет наличия второстепенных или ненужных знаний и навыков. Другими словами, содержательная валидность - это характеристика, определяющая соответствие тестовых заданий содержанию ГОС или учебной программе. Содержательная валидность оценивается с помощью метода экспертных оценок.

3.2. О содержательной валидности теста необходимо судить по спецификации теста и методам, которые используются при его разработке.

3.3. Эксперт должен определить какова процедура отбора, призванная обеспечить включение в текст нужного материала, обеспечивает ли эта процедура возможность судить по выполнению отобранных заданий об уровне знаний испытуемого в данной области и овладении им специфическим для данной области навыками.

3.4. Эксперт должен определить достаточно ли ясно указано, владение какими именно знаниями или навыками должен выявить тест.

3.5. В спецификация теста должны быть перечислены все основные элементы содержания данной дисциплины на основе обязательных образовательных минимумов.

3.6. Для каждого пункта спецификации должно быть указано число тестовых заданий, вид этих заданий, уровень их сложности и способности, которые они проверяют, отведенное на их решение время, а также дополнительные требования.

3.7. Количественно тестовые задания должны быть распределены равномерно по каждому пункту спецификации теста.

3.8. Спецификация составляется таким образом, чтобы ее анализ позволил убедиться, что в ходе тестирования проверяется знание всех основных элементов содержания и в тест не включены задания, относящиеся к темам, которые не изучались.

3.9. Эксперт выставляет оценку содержательной валидности теста в диапазоне от 0 до 1. Если оценка содержательной валидности равна 1, то тест полностью валиден по содержательности. Если оценка содержательной валидности равна 0, то тест является полностью не валидным по содержательности.

3.10. Тест считается содержательно-валидным, если значение оценки содержательной валидности составляет больше 0.8.

3.11. Если оценка содержательной валидности теста меньше 1, то эксперт обязан внести замечания по содержательной валидности в «Лист замечаний» экспертизы.

4. Расчет критериальной валидности теста

4.1. Тест должен быть проверен на критериальную валидность — характеристика теста, отражающая степень уверенности, что первичный тестовый балл реально отражает достижение определенного уровня знаний или навыков. Критериальная валидность определяется на основании сравнения результатов тестирования и показателей, полученных независимым путем (например, путем традиционных оценок, экспертных суждений, результатов других тестов, валидность которых уже установлена).

4.2. Критериальная валидность определяется органом по экспертизе тестовых материалов по представленному банку тестовых заданий.

4.3. Орган по экспертизе тестовых материалов для расчета критериальной валидности проводит мероприятия по апробации теста в различных условиях и на основе методов непараметрической статистики вычисляет степень сходства результатов тестирования с результатами независимой оценки знаний и умений тестируемых.

4.4. Степень сходства в непараметрической статистике — это мера r взаимозависимости (корреляционной связи) двух величин Xi и Yi. Величина r принимает значения от 0 до 1. Если значение r равно 1, то сходство считается полным, если степень сходства равна 0, то имеет место полное расхождение результатов.

4.5. Тест считается критериально валидным, если значение степени сходства результатов тестирования с результатами независимой оценки знаний и умений больше 0.8.

4.6 За коэффициент валидности принимают коэффициент корреляции результатов тестовых измерений и критерия. Если экспертная оценка знаний испытуемых, полученная независимо от процедуры тестирования, представлена числовой последовательностью Y₁,Y₂, …, Y_n, то коэффициент валидности теста может быть рассчитан по формуле:

,

где - средняя арифметическая экспертных оценок, s_Y - стандартное отклонение этих оценок:

, .

Задание 2. Используя тест3 лабораторной работы №6 протестировать каждого испытуемого в группе. Используя полученные данные провести оценку надежности теста двумя способами (повторным и однократным тестированием). Дать интерпретацию надежности теста. Вычислить погрешность измерения тестового балла.

Задание 3. Используя данные тестирования и экспертные суждения преподавателей или студентов (результаты независимой оценки) рассчитать валидность теста. Дать интерпретацию валидности теста.

Учебное издание

Авторы-составители:

Волкова Татьяна Ивановна,

Бадртдинова Файруза Тахваловна

Современные средства оценивания результатов обучения

Лабораторный практикум

Учебно-методическое пособие

Компьютерный набор Бадртдинова Ф.Т.

Компьютерная верстка и оригинал-макет Набиуллин А.Р.

Подписано в печать 02.04.09.

Гарнитура «Times». Печать на ризографе с оригинала.

Формат 60x84 ¹/₁₆. Усл.-печ.л. 6.8. Уч..-изд.л.6.20.

Бумага писчая. Тираж 100 экз. Заказ №

Цена договорная.

452453, Республика Башкортостан, г. Бирск, ул. Интернациональная, 10.

Бирская государственная социально-педагогическая академия.

Отдел множительной техники БирГСПА

1 Дистракторы (от англ. distract — отвлечение внимания) — варианты ответов в заданиях с выбором, не являющиеся правильными решениями, но внешне близкие к правильному решению.

117