4492

МИНОБРНАУКИ РОССИИ

Федеральное государственное бюджетное образовательное учреждение высшего образования

«Нижегородский государственный архитектурно-строительный университет»

Платов А.Ю.

ТЕХНОЛОГИИ И ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА АНАЛИЗА БОЛЬШИХ ДАННЫХ

Учебно-методическое пособие по подготовке к лекциям, практическим занятиям

(включая рекомендации по организации самостоятельной работы)

по выполнению курсовой работы

для обучающихся по дисциплине «Технологии и инструментальные средства анализа больших данных»

по направлению подготовки 09.04.03 Прикладная информатика направленность (профиль) Искусственный интеллект в бизнес-аналитике

Нижний Новгород

2022

УДК 004.9

Платов А.Ю. / Технологии и инструментальные средства анализа больших данных: учебнометодическое пособие / А.Ю. Платов; Нижегородский государственный архитектурностроительный университет – Нижний Новгород: ННГАСУ, 2022. – 13 с.– Текст: электронный.

В настоящем учебно-методическом пособии по дисциплине «Технологии и инструментальные средства анализа больших данных» даются конкретные рекомендации учащимся для освоения как основного, так и дополнительного материала дисциплины и тем самым способствующие достижению целей, обозначенных в учебной программе дисциплины. Цель учебно-методического пособия — это помощь в усвоении лекций, в подготовке к практическим занятиям.

Учебно-методическое пособие предназначено для обучающихся в ННГАСУ по дисциплине «Технологии и инструментальные средства анализа больших данных» по направлению подготовки 09.04.03 Прикладная информатика, направленность (профиль) Искусственный интеллект в бизнесаналитике

© А.Ю. Платов, 2022

© ННГАСУ, 2022

2

Оглавление

3

1. Общие положения

1.1 Цели изучения дисциплины и результаты обучения

Основными целями освоения учебной дисциплины «Технологии и инструментальные средства анализа больших данных» является достижение результатов обучения, предусмотренных установленным в ОПОП индикаторами достижения компетенций. В процессе освоения дисциплины студент должен

Знать:

существующие и перспективные структуры центров обработки данных

действующую нормативную базу в области проектирования и строительства центров обработки данных,

принципы разработки проектной документации центра обработки данных,

системную архитектуру серверного оборудования и систем хранения данных, цифровых платформ анализа данных,

методологию и принципы руководства проектом по созданию, поддержке и использованию комплексных систем на основе аналитики больших данных; знает специфику сфер и отраслей, для которых реализуется проект по аналитике больших данных.

Уметь:

ставить задачи, планировать и контролировать выполнение работ сотрудниками центра обработки данных,

работать с unix-подобными системами,

применять принципы и методы построения общедоступных платформ для хранения наборов данных, соответствующих методологиям описания, сбора и разметки данных.

Данная дисциплина позволит студентам не только систематизировать полученные

4

теоретические знания, укрепить исследовательские навыки, но и даст возможность ориентироваться в новом предметном поле прикладной информатики.

1.2 Содержание дисциплины

Материал дисциплины сгруппирован по следующим разделам:

1.Большие данные: общие понятия. Классификация, примеры.Источники больших данных: показания датчиков, приборов и других устройств; Интернет (соцсети, форумы, блоги, СМИ и т.д.); корпоративные архивы документов.

2.Методы анализа больших данных: Data Mining, краудсорсинг, смешение и интеграция данных, машинное обучение, искусственные нейронные сети, распознавание образов, прогнозная аналитика, имитационное моделирование, пространственный анализ, статистический анализ, визуализация данных. Структура центров обработки данных. Действующая нормативная база в области проектирования и строительства центров обработки данных.

3.Инструментальные средства анализа больших данных. Инструментальные средства

анализа больших данных: Google Analytics, Mixpanel, Kissmetrics, Weborama, OWOX BI, Datorama,

Supermetrics, Funnel, Improvado, AppsFlyer, Adobe Analytics, Fivetran и др. Обзор и возможности инструментальных средств анализа данных.

4.Кейсы применения технологий и инструментальных средств. Кейсы применения технологий и инструментальных средств для анализа больших данных в деятельности органов государственной власти. Методология и принципы руководства проектами по созданию, поддержке и использованию комплексных систем на основе аналитики больших данных для органов государственной власти.

5.Изучение кейсов применения. Изучение кейсов применения технологий и

инструментальных средств анализа больших данных в деятельности корпораций

1.3Вспомогательная литература для изучения дисциплины

1.Кандаурова Н.В.. Технологии обработки информации : учебное пособие. / Кандаурова Н.В., Чеканов В.С. ; В.С. Чеканов; Н.В. Кандаурова. – Ставрополь : Северо-Кавказский федеральный университет, 2014. – 175 c. – URL: URL: http://www.iprbookshop.ru/63145.html.

2.Неделько В. М.. Основы статистических методов машинного обучения : Учебное пособие. / Неделько В. М. ; Неделько В. М.. – Новосибирск : Новосибирский государственный технический университет, 2010. – 72 с. – URL: URL: http://www.iprbookshop.ru/45418.html. – ISBN ISBN 978-5- 7782-1385-2.

3.Цильковский И. А.. Методы анализа знаний и данных : Конспект лекций. / Цильковский И.

5

А., Волкова В. М. ; Цильковский И. А.. – Новосибирск : Новосибирский государственный технический университет, 2010. – 68 с. – URL: URL: http://www.iprbookshop.ru/45385.html. – ISBN ISBN 978-57782-1377-7.

4. Интеллектуальный предиктивный мультимодальный анализ слабоструктурированных больших данных / Ярушкина, Н. Г., Андреев, И. А., Гуськов, Г. Ю., Дударин, П. В., Желепов, А. С., Мошкин, В. С., Наместников, А. М., Романов, А. А., Филиппов, А. А., Эгов, Е. Н. ; Н. Г. Ярушкина, И. А. Андреев, Г. Ю. Гуськов [и др.]. – Ульяновск : Ульяновский государственный технический университет, 2020. – 221 с. – URL: URL: http://www.iprbookshop.ru/106136.html. – ISBN ISBN 978-5-9795-2088-9.

6

2. Методические указания по подготовке к лекциям

2.1 Общие рекомендации по работе на лекциях

Лекция является главным звеном дидактического цикла обучения. Ее цель — формирование основы для последующего усвоения учебного материала. В ходе лекции преподаватель в устной форме, а также с помощью презентаций передает обучаемым знания по основным,

фундаментальным вопросам изучаемой дисциплины.

Назначение лекции состоит в том, чтобы доходчиво изложить основные положения изучаемой дисциплины, ориентировать на наиболее важные вопросы учебной дисциплины и оказать помощь в овладении необходимых знаний и применения их на практике.

Личное общение на лекции преподавателя со студентами предоставляет большие возможности для реализации образовательных и воспитательных целей.

При подготовке к лекционным занятиям студенты должны ознакомиться с презентаций,

предлагаемой преподавателем, отметить непонятные термины и положения, подготовить вопросы с целью уточнения правильности понимания. Рекомендуется приходить на лекцию подготовленным, так как в этом случае лекция может быть проведена в интерактивном режиме,

что способствует повышению эффективности лекционных занятий.

2.2 Общие рекомендации при работе с конспектом лекций

В ходе лекционных занятий необходимо вести конспектирование учебного материала.

Конспект помогает внимательно слушать, лучше запоминать в процессе осмысленного записывания, обеспечивает наличие опорных материалов при подготовке к семинару, зачету,

экзамену.

Полезно оставить в рабочих конспектах поля, на которых делать пометки из рекомендованной литературы, дополняющие материал прослушанной лекции, а также подчеркивающие особую важность тех или иных теоретических положений.

В случае неясности по тем или иным вопросам необходимо задавать преподавателю уточняющие вопросы. Следует ясно понимать, что отсутствие вопросов без обсуждения означает

7

в большинстве случаев неусвоенность материала дисциплины.

2.3Контрольные вопросы

1.Методы анализа больших данных.

2.Суть модели MapReduce.

3.Суть технологии Hbase.

4.Простые типы данных в Python.

5.Кейс применения технологий или инструментального средства для анализа больших данных в деятельности органов государственной власти или корпорации.

6.Для каких задач бизнес-аналитики используется кластеризация?

7.Что анализирует в бизнесе бизнес-аналитика?

8.Что такое машинное обучение?

9.Что такое автоассоциативная сеть?

10.Какова цель алгоритма обратного распространения ошибки?

11.Обзор возможностей 2-3 инструментальных средств для анализа больших данных.

12.Разведывательный анализ данных и методы работы с текстовыми данными.

8

3. Методические указания по подготовке к практическим занятиям

3.1Общие рекомендации по подготовке к практическим занятиям

Входе подготовки к практическим занятиям необходимо изучать основную литературу, знакомиться с дополнительной литературой, а также с новыми публикациями в периодических изданиях: журналах, газетах и т.д. При этом необходимо учесть рекомендации преподавателя и требования учебной программы.

Всоответствии с этими рекомендациями и подготовкой полезно дорабатывать свои конспекты лекции, делая в нем соответствующие записи из литературы, рекомендованной преподавателем и предусмотренной учебной программой. Целесообразно также подготовить тезисы для возможного выступлений по всем учебным вопросам, выносимым на занятие.

При подготовке к практическим занятиям можно также подготовить краткие конспекты по вопросам темы. Очень эффективным приемом является составление схем и презентаций.

Готовясь к докладу или реферативному сообщению, желательно обращаться за методической помощью к преподавателю. Составить план-конспект своего выступления. Продумать примеры с целью обеспечения тесной связи изучаемой теории с реальной жизнью. Своевременное и качественное выполнение самостоятельной работы базируется на соблюдении настоящих рекомендаций и изучении рекомендованной литературы. Студент может дополнить список использованной литературы современными источниками, не представленными в списке рекомендованной литературы, и в дальнейшем использовать собственные подготовленные учебные материалы при написании курсовых и дипломных работ.

3.2Примеры задач для практических занятий

1.Особенности больших данных

2.Перечислить инструментальные средства

3.Описать особенности применения инструментальных средств для анализа больших

данных.

4.Какие данные о клиенте сохраняют в графовых базах данных при создании рекомендательной системы

9

4. Методические указания по организации самостоятельной работы

4.1 Общие рекомендации для самостоятельной работы

Самостоятельная работа студентов является основным способом овладения учебным материалом в свободное от обязательных учебных занятий время.

Целями самостоятельной работы студентов являются:

-систематизация и закрепление полученных теоретических знаний и умений студентов;

-углубление и расширение теоретических знаний;

-формирование умений использовать нормативную, правовую, справочную документацию и специальную литературу;

-развитие познавательных способностей и активности студентов:

-формирования самостоятельности мышления, способностей к саморазвитию, самосовершенствованию и самореализации.

Запланированная в учебном плане самостоятельная работа студента рассматривается как связанная либо с конкретной темой изучаемой дисциплины, либо с подготовкой к курсовой, дипломной работе, а также к защите ВКР. В данном разделе рассматривается только самостоятельная работа первого вида.

Самостоятельная работа выполняется в два этапа: планирование и реализация.

Планирование самостоятельной работы включает:

-уяснение задания на самостоятельную работу;

-подбор рекомендованной литературы;

-составление плана работы, в котором определяются основные пункты предстоящей подготовки.

Составление плана дисциплинирует и повышает организованность в работе.

На втором этапе реализуется составленный план. Реализация включает в себя:

-изучение рекомендованной литературы;

-составление плана (конспекта) по изучаемому материалу (вопросу);

-взаимное обсуждение материала.

10