8860

Рис. 21. Статистика по набору данных сотовые опереторы.txt

В двух столбцах (рис. 21) присутствуют пропущенные значения. Это зна-

чит, что необходимой операцией будет работа с пропусками.

Шаг 2 – дубликаты и противоречия

Противоречивыми являются группы записей, в которых содержатся строки с одинаковыми входными факторами, но разными выходными. В такой ситуации непонятно, какое результирующее значение верно. Противоречивые данные исключаются.

Дубликаты – это записи с одинаковыми входными и выходными данны-

ми. Такие данные приводят к избыточности, поэтому дублирующая информа-

ция исключается.

Для автоматизации процесса поиска дубликатов и противоречий предна-

значен специальный обработчик Дубликаты и противоречия. Он находится в группе узлов Очистка данных мастера обработки.

Настройка параметров обработчика заключается в указании назначения полей. Суть обработки состоит в том, что определяются входные и выходные поля. Алгоритм ищет во всем наборе записи, для которых одинаковым входным

55

Рис. 23. Визуализатор «Дубликаты и противоречия» В нашем случае было найдено 27 противоречий и 22 группы дубликатов с

общим числом 46 записей. Примем решение удалить противоречия, а от каждой группы дубликатов оставить одну запись.

Наиболее простой способ сделать это состоит в следующем.

1. Удалить противоречия, используя обработчик Фильтрация с условием «Про-

тиворечие=ложь».

2. Отфильтровать все дубликаты и сгруппировать их по измерениям Дубликат

и Группа дубликатов, остальные поля будут фактами с функцией агрегации

первый. В результате мы получим по 1 записи для каждой группы дубликатов. 3. К отфильтрованному набору данных, не содержащему дубликатов при по-

мощи объединения (обработчик Слияние) добавить набор данных, полученный на шаге 2.

Фрагмент сценария, осуществляющего эти действия, приведен на рис. 24.

Рис. 24. Устранение противоречий и дубликатов

Шаг 3 – восстановление пропусков

Пропуски содержат 2 поля, причем доля пропусков составляет 13,7%. В

этих условиях предпочтительнее выбрать их восстановление.

57

Рис. 26. Восстановленные значения Алгоритм подставил наиболее вероятное значение (строится плотность

распределения вероятностей, и отсутствующие данные заменяются значением,

соответствующим ее максимуму).

Шаг 4 – выявление аномалий

Анализ визуализатора Статистика (минимальные и максимальные значе-

ния полей) позволил сделать вывод об отсутствии аномальных выбросов в дан-

ных файла сотовые операторы.txt.

Перед выявлением аномалий полезно также изучить распределение дан-

ных (гистограмму), и те поля, в которых оно нормальное, проанализировать на выбросы методом «сигм»: любые значения ряда, отличающиеся от среднего больше чем на три среднеквадратических отклонения, являются потенциаль-

ными аномалиями.

Потенциальные аномалии можно обнаружить и на графике, для чего ис-

пользуют визуализатор Диаграмма (для аномальных точек используют один цвет, например, красный цвет, для не аномальных – белый).

Шаг 5 – фильтрация

Фильтрация в очистке и предобработке используется для получения очи-

щенной выборки после принятия решений о судьбе «грязных» записей и для вспомогательных действий.

В рассматриваемом примере фильтрация использовалась для исключения дубликатов и противоречий (см. сценарий на рис. 2.17).

Шаг 6 – совокупная оценка качества

Всего записей: до очистки – 607, после очистки – 557, удалено 8,24%.

59

Выводы: в целом качество данных можно признать очень хорошим; проблемы,

возникшие с пропущенными и аномальными данными, были решены стандарт-

ными методами.

Задание 2. Требуется разработать систему аналитической отчетности в

Deductor на основе созданного ранее хранилища данных ВОДА. Все требуемые отчеты должны быть вынесены на Панель отчетов.

1.Постройте отчет–диаграмму «Динамика показателя содержания ХПК

(химическое потребление кислорода) в реке Ока», используя все име-

ющиеся данные.

Рис. 27. Временной ряд загрязнителя ХПК

2.Постройте отчет–гистограмму распределения показателя «ХПК» в реке Беленькая за последние 5 месяцев от имеющихся данных. Назовите от-

чет «Гистограмма показателя ХПК»

Рис. 28. Гистограмма показателя ХПК

3. Постройте куб (и кросс-диаграмму) по двум измерениям Створ и

Название загрязнителя, в ячейках которого указаны средние значения

60