3.2. Надійність психологічного експерименту

Друга важлива характеристика результатів експерименту – надійність.

НАДІЙНІСТЬ – 1) відтворюваність результатів дослідження; 2) точність виміру; 3) стійкість результатів, одержуваних за допомогою певної методики, у часі й стосовно різних перешкод (побічним змінним).

У вузькому тестологічному розумінні надійність розуміється як погодженість результатів тестування випробуваних у різні моменти часу, при первинному й вторинному тестуванні й з використанням різних по еквівалентності, за змістом завдань.

Відмінність її від валідності легко зрозуміти з наступної аналогії. Якщо представити експеримент як стрільбу по мішені, то валідність визначає точність влучення в задану мішень, а надійність – купчастість стрільби.

Надійність експерименту можна підвищити:

- збільшенням кількості проб

- дотриманням точності проходження схеми експериментальної процедури;

- врахуванням всіх факторів і фіксацією випадків появи нових, непередбачених факторів;

- стабілізацією нерелевантних змінних.

Валідність і надійність – це незалежні характеристики експерименту.

3.3. Фактори, що загрожують валідності експерименту

Фактори, що загрожують внутрішній валідності експерименту

1. Фактори часу:

- зміни, які відбуваються протягом часу й обумовлюють нестабільність результатів, зокрема нестабільність самої незалежної змінної в часі;

- ефект історії – вплив конкретних подій, що відбуваються в житті досліджуваних, окрім експериментального впливу;

- ефект природного розвитку зміни досліджуваних без зв’язку з конкретними подіями як наслідок перебігу часу: протягом короткого часу – зміна стану досліджуваного (коливання уваги, втома, голод, хвороба, нудьга, монотонія), протягом тривалого часу – зміни властивостей індивіда (особистісних рис, вікові зміни, накопичення досвіду тощо);

- динаміка побічних змінних протягом часу (зокрема, зміни в погодних умовах, годинах дня, сезонні зміни тощо).

2. Фактори задачі, коли, напр., експерименти (особливо пов’язані з научінням) вимагають застосування різних задач для різних умов (оск. одну і ту саму задачу можна виконати тільки 1 раз); саме різний зміст задач, а не експериментальний вплив може зумовити зміни в поведінці досліджуваних.

3. Ефект тестування – вплив попереднього тестування на результат прикінцевого.

4. Інструментальна похибка – зумовлена недостатньою надійністю методик фіксації поведінки досліджуваних.

6. Ефект послідовності – попередні умови впливають на наступні за ними (перенос).

7. Суб’єктивний фактор – упередженість експериментатора щодо переваги однієї з умов незалежної змінної; комунікативні артефакти.

8. Фактори вибірки (за Кемпбеллом):

- селекція – нееквівалентність груп по складу, що викликає систематичну помилку;

- статистична регресія – окремий випадок помилки селекції, коли групи відбиралися на основі «крайніх» показників;

- експериментальне відсівання – нерівномірне вибування випробуваних з порівнюваних груп, що приводить до нееквівалентності груп по складу;

- природний розвиток – зміна випробуваних у часі, без зв'язку з конкретними подіями: зміна стану (голод, утома, хвороба й т.д.), властивостей індивіда (вікові змінні, нагромадження досвіду).

9. Несистематичне змішання виникає, коли будь-який з факторів (або їхнє сполучення) нерегулярно втручається в досліджувану залежність (внутрішні причини (зміни станів самого випробуваного), зовнішні (випадкове відволікання на шум у коридорі, окрик колеги, телефонний дзвінок і т.п.).

10. Супутнє змішання – обумовлене неминучим сполученням в експерименті основного впливу із супутнім йому. Одним із проявів супутнього змішання є плацебо-ефект.

11. Помилка вимірювання – статистичний показник, що характеризує хибність виміру залежної змінної. Для оцінки цієї помилки використовують міри розкиду, зокрема - помилка середньої. Найчастіше виходить лише після проведення дослідження або навіть після обробки даних.

Окремо варто розглянути таке явище як систематичне змішування. (В. Дружинін визначає його як семантичне, або процедурне) – змішання незалежної змінної з іншими факторами, які можуть систематично різнитися і змінюватися за різних умов пред’явлення незалежної змінної (фактори часу, фактори задачі, послідовності пред'явлення, індивідуальних відмінностей і т.д.); або змішування усіх видів змінних, що не дає можливості ізолювати незалежну змінну і саме її впливом пояснити динаміку залежної змінної.Тут збільшення кількості проб тільки погіршує експериментальні результати.

Досягнення зовнішньої валідності утруднюється факторами, які пов’язані з особливими умовами проведення експерименту, що відрізняються від умов реальної ситуації. Пов’язана з відбором реальних досліджуваних таким чином, щоб отримані результати можна було поширити на всіх потенційних досліджуваних. При цьому може відбутися взаємодія факторів відбору і змісту експериментального впливу, наслідком чого стануть артефакти, зумовлені, наприклад, різною мотивацією тих, хто бере участь в експерименті добровільно чи з примусу.

19