книги хакеры / журнал хакер / 245_Optimized

hang

e

hang

e

C

E

C

E

X

X

-

d

-

d

F

t

F

t

D

i

D

i

r

r

P

NOW!

o

P

NOW!

o

BUY

BUY

to

to

w Click

m

w Click

m

w

w

w

c

o

w

c

o

.

g

.c

.

g

.c

p

p

df

n

e

Август 2019

df

n

e

-x

ha

-x ha

№ 245

CONTENTS

Впечатления от «Хаоса» Колонка главреда

MEGANews

Всё новое за последний месяц

Android Обман Face ID и разбор паттернов MVC, MVI, MVVM

Роботизируем SMM Как научить нейросеть предсказывать успешность постов в соцсети

Голые факты Как нейросеть DeepNude раздевает женщин на фото

Машинный слух Как работает идентификация человека по его голосу

Машинное зрение на Python Обучаем нейросеть распознавать цифры

Машинное зрение на Python Учим нейросеть отличать медведей от слонов

Фундаментальные основы хакерства Мастер класс по анализу исполняемых файлов в IDA Pro

Неправильный CTF Одноразовые пароли, буйство LDAP инъекций и трюки c архиватором 7z

Полет в стратосферу Ломаем Struts через Action приложение и мастерим Forward Shell

Непростая загогулина Краткий путеводитель по эллиптическим кривым

Программы без рекламы Используем VPN и Unbound, чтобы убрать баннеры из приложений

Hey Julia!

Новый язык, который выглядит, как Python, а летает, как C

Twitch Extensions

Пишем свое расширение для взаимодействия со зрителями

Непробиваемый DevOps кластер Настраиваем и усиливаем безопаcность Kubernetes

Почти single sign on Используем системную аутентификацию с сокетами UNIX

Крипта без эмоций Ищем здравый смысл в криптовалютной шумихе

Титры Кто делает этот журнал

КОЛОНКА ГЛАВРЕДА

Мы уже публиковали один отчет с CC и TechTrain, посвященный похождениям героической бабушки. В отличие от тусовой «бабули», я все два дня провел на Chaos Constructions, поскольку именно там стоял наш стенд. И надо ска зать, ничуть не пожалел — интересного было хоть отбавляй.

Chaos Constructions, если ты вдруг про него не слышал, — это фестиваль, который проходит каждый год в конце лета в Санкт Петербурге. Он собирает хакеров, мейкеров, кодеров, геймеров и прочих гиков, нердов и фриков всех мастей и разновидностей. Два дня публика слушает доклады, щупает раритетные компьютеры, ходит на воркшопы и, самое главное, общается, общается и еще немного общается, пока не сядет голос или не начнут под кашиваться ноги от выпитого пива.

В этот раз фестиваль начался с приятного сюрприза. «Мимо тебя сейчас Столлман прошел», — сказали мне, и я заоборачивался. И действительно: сам глава Free Software Foundation (сейчас уже бывший) и основатель дви жения GNU так чудесно вписался в тусовку наших айтишников, что не сразу заметишь.

Столлман проследовал в аудиторию и, подзаряжаясь чайком, вещал про свободу софта часа два, если не три. Под конец, говорят, пустил с молот ка игрушечную антилопу гну, и она тут же ушла за 21 тысячу рублей. Недаром, когда к нему пристают с вопросами о том, как зарабатывать на свободном софте, он отвечает в духе «хочешь жить — умей вертеться»!

Помнишь, я чуть выше говорил, что интересного на CC было хоть отбавляй? Так вот, это не только фигура речи. Было бы очень неплохо «отбавить» нес колько идущих параллельно крутых докладов, между которыми нужно выбирать или разорваться надвое. То есть, конечно, не убрать их, а лишь рас ставить посвободнее.

Мне удалось заглянуть на захватывающее выступление Артёма Каш канова, который в домашних условиях собрал компьютер из 578 герконовых реле и теперь планирует разработку лампового вычислителя, а также экспе риментирует с логикой на основе струй воды. Артём любезно согласился написать нам статью по мотивам своего выступления, так что можешь тоже насладиться.

Другой доклад, на который я сходил из любопытства, был посвящен крип товалютной платформе TON. Докладчик (Сергей Черников) работает в TON Labs, где занимаются разработкой компиляторов C и Solidity в Fift — основной язык TON, выросший из Forth. Сергей тоже прислал нам статью — она несколько проливает свет на хитросплетения блокчейнов TON. Если же тебя мучают вопросы вроде «зачем», «когда» и «как конкретно», то знай: ты такой не один, а с ответами пока туговато.

Еще два доклада, аналоги которых ты можешь найти в виде статей в «Хакере», — это «Боевой OSINT» и выступление Егора Литвинова, пос вященное ZigBee.

Не смог я пройти и мимо доклада с названием «Блюющая лямбда и трансцен дентные котики: функциональная парадигма как путь к просветлению в иллю зорном мире», который читал Антон Ворошевский. Меня, конечно, и так не нужно убеждать в том, что функциональное программирование — это один из самых здоровых и полезных способов расширить сознание, но послушать единомышленников было приятно. Только посмотри, как вольготно возлежит на бинбэге этот матерый лямбда самец!

Одного взгляда достаточно, чтобы понять: функциональный стиль — путь к просветлению.

На многие крутые доклады я не попал просто потому, что не успел или кру тился где то еще. Например, несколько выступлений были посвящены радио

ибеспроводным сетям. Олег Купреев посвящал публику в хитрости работы с Wi Fi, Егор Литвинов рассказывал про ZigBee, Андрей Строков — про SDR

иGNU Radio.

Иэто я перечислил только знакомых авторов и самые близкие нам темы. Были доклады про embedded, мониторинг серверов, геймдев, нейросети

идаже про опыт использования раритетных гаджетов в походах. Короче, на любой вкус!

Кстати, впервые я посещал Chaos Constructions в 2011 году, и тогда демосцена и ретрокомпьютеры занимали основное пространство, а док ладов было всего ничего. Теперь доклады идут два дня с утра до вечера в шесть треков, а вот выставка старой техники подрастеряла былое величие.

Впрочем, что то интересное нашлось и в этом году. Например, мне уда лось немножко поиграть на редкой игровой приставке Philips CD i. Link: The Faces of Evil — редкостная дрянь как игра, но графика и анимация для 1993 года — выдающиеся.

Еще сильнее меня порадовал частный уголок «Яндекса», куда привезли некоторые экспонаты из московского музея компании. Так я впервые порабо тал за живым компьютером NeXT, которых в России больше нигде не най дешь.

Что до демосцены, то этот жанр практически иссох, но из двух демок, пред ставленных в категории ZX Spectrum 640K, одна оказалась неожиданно инте ресной. Эта работа moronizzz/buchaos хоть по очкам и проиграла более тра диционной, красивой и «технической» демке thesuper, зато воспринимается как современное и даже злободневное искусство, которое, в отличие от раз ноцветной анимации и фракталов, запомнится.

ДЕНЬГИ ЗА БАГИ

В этом месяце сразу несколько крупных компаний анонсировали расширение своих программ поощрения за обнаружение уязвимостей.

Google

Теперь исследователи смогут заработать, обнаруживая злоупотребление пользовательскими данными, а также находя уязвимости в любых приложе ниях для Android, насчитывающих более 100 миллионов установок.

В рамках Developer Data Protection Reward Program (DDPRP) ИБ спе циалисты смогут сообщать о злоупотреблениях данными пользователей. Такие проблемы можно будет искать в сторонних приложениях, имеющих доступ к Google API, в приложениях для Android из Google Play Store, а также

вприложениях и расширениях из Chrome Web Store. Эксперты, которые обна ружат случаи злоупотребления данными, имеют право на вознаграждение

вразмере до 50 тысяч долларов США.

«Цель данной программы — поощрить любого, кто может предоставить достоверные и недвусмысленные доказательства злоупотребления данными, — говорят представители Google. — В частности, эта программа направлена на выявление ситуаций, когда пользовательские данные неожиданным образом используются или продаются, а также незаконным образом используются повторно без согласия пользователя».

В данном случае Google следует примеру компании Facebook. В апре ле 2018 года, после скандала, связанного с компанией Cambridge Analytica и злоупотреблением пользовательскими данными, социальная сеть обновила программу bug bounty, чтобы люди, обнаружившие так называемый data abuse в стороннем приложении, могли получить за это вознаграждение в раз мере до 40 тысяч долларов.

Кроме того, у Google появилась программа вознаграждений за любые ошибки, обнаруженные в составе крупных приложений из Google Play Store. Теперь исследователи смогут искать уязвимости в любых приложениях, чей счетчик установок перевалил за 100 миллионов, и сообщать о проблемах Google. При этом разработчикам таких приложений не придется специально где то регистрироваться или предпринимать какие то иные шаги.

Сообщения об уязвимостях будут приниматься через Google Play Security Reward (GPSRP) на платформе HackerOne, а затем отчеты передадут раз работчикам приложений. Если те не сумеют устранить выявленные ошибки, Google исключит приложения из Play Store.

Интересно, что такие крупные разработчики, как Facebook, Microsoft или Twitter, которые имеют собственные программы bug bounty, не исклю чаются из GPSRP. Более того, Google заявляет, что исследователи могут сообщать об ошибках дважды: через GPSRP и напрямую через bug bounty программы самих компаний, таким образом дважды получая вознаграж дение.

Apple

В этом году представители Apple выступили на конференции Black Hat

исообщили, что компания расширяет программу bug bounty. Теперь за баги в iPhone можно будет получить до миллиона долларов, а также к концу текущего года исследователи смогут искать проблемы в macOS, watchOS

иtvOS.

Расширенная bug bounty программа будет открыта для всех желающих, а размер наград, как обычно, будут варьировать в зависимости от серь езности уязвимостей и потенциального ущерба, который те могут нанести. Напомню, что изначально программа Apple распространялась только на iOS и участвовать в ней могли лишь избранные специалисты, но не все жела ющие.

Вознаграждения за уязвимости теперь значительно увеличились. Так, в настоящее время Apple предлагает исследователям до 200 тысяч долларов США за уязвимости, которые могут дать атакующему полный контроль над iOS устройством (речь об удаленных атаках, которые не подразумевают взаимодействия с пользователем и позволяют выполнить код на уровне ядра iOS).

Начиная с осени 2019 года вознаграждение за такие баги будет увеличено до одного миллиона долларов США. Кроме того, предложение также рас пространяется на аналогичные проблемы в macOS.

Вознаграждения за другие типы уязвимостей также были увеличены, и теперь исследователи смогут заработать на различных багах от 100 тысяч до 500 тысяч долларов США. Кроме того, Apple предлагает бонус в раз мере 50% от стоимости уязвимости за проблемы, найденные в предрелизных сборках. Таким образом компания надеется не допустить попадания опасных ошибок в релиз, где они могут привести к атакам на пользователей, а их исправление может занять долгие недели.

Отметим, что уязвимости в операционных системах Apple давно считаются одними из наиболее дорогих на этом рынке. К примеру, компания Zerodium предлагала миллион долларов за эксплоиты для iOS еще в 2015 году.

Microsoft

В августе 2019 года разработчики Microsoft представили первую бета вер сию своего обновленного браузера Edge на основе Chromium.

Фактически одновременно с запуском беты представители компании так же анонсировали старт bug bounty программы Edge Insider Bounty Program.

ИБ специалистам предлагают поискать в обновленном браузере компании уязвимости (в ветках Beta и Dev, Canary в расчет не принимается), вознаграж дение за которые может составить от одной до тридцати тысяч долларов США.

Уязвимости должны проявляться в последней на момент подачи отчета версии Microsoft Edge, работающей в связке с полностью обновленной Win dows (включая Windows 10, Windows 7 SP1 или Windows 8.1) или macOS. Так же подчеркивается, что баги не должны воспроизводиться в Google Chrome, то есть должны быть «эксклюзивными» для Edge, и программа Microsoft дол жна стать дополнением для bug bounty программы Chrome.

Интересно, что новая программа сочетается с Microsoft Edge (EdgeHTML) в Windows Insider Preview, так что некоторые проблемы, затрагивающие ста рый движок EdgeHTML, тоже могут приниматься в расчет и способны принес ти экспертам до 15 тысяч долларов.

Facebook

Компания Facebook расширила свою программу Data Abuse Bounty на при ложения для Instagram. Обнаружив злоупотребление данными, исследова тели смогут заработать до 40 тысяч долларов. Причем представители соци альной сети уверяют, что 40 тысяч — это не максимум, в особо сложных слу чаях размер вознаграждения может быть увеличен.

Напомню, что еще в 2018 году социальная сеть приняла решение рас ширить свою программу вознаграждения за уязвимости и поощрять поль зователей и экспертов за поиск признаков потенциального злоупотребления данными (data abuse). Это произошло вскоре после скандала, связанного с компанией Cambridge Analytica.

Под словосочетанием «злоупотребление данными» подразумевается, что приложение собирает пользовательские данные, которые затем передаются третьим сторонам, а дальше информация может быть перепродана, похище на, использована с целью мошенничества или получения политического вли яния.

Стоит заметить, что с 2018 года программа уже не раз демонстрировала свою эффективность. Так, вскоре после старта программы, в 2018 году, Face book блокировала более 200 приложений, злоупотреблявших пользователь скими данными.

Расширение программы Data Abuse Bounty на Instagram, очевидно, свя зано с инцидентом с компанией Hyp3r. Дело в том, что в начале августа 2019 года рекламного партнера Instagram, компанию Hyp3r, уличили в сборе пользовательских данных для последующего составления рекламных профилей. Hyp3r тайно собирала и хранила миллионы пользовательских историй, изображений, данные о геолокации, биографиях, интересах и так далее. В итоге Hyp3r была заблокирована Facebook за нарушение правил платформы.

4 400 000 ЗАПЛАТИЛА ЗА БАГИ MICROSOFT

На конференции Black Hat 2019, которая прошла в Лас Вегасе в августе, представители ком пании Microsoft рассказали, что за последние 12 месяцев корпорация выплатила 4,4 мил-

лиона долларов специалистам по информационной безопасности в рамках своей bug bounty программы.

Также разработчики анонсировали запуск новой среды песочницы под названием Azure Securi ty Lab, где специалисты смогут эмулировать поведение преступников. Теперь награда за уяз вимости в Azure увеличена до 40 000 долларов.

ХАКЕРЫ ПРОТИВ СТОМАТОЛОГИЙ

Вымогательское ПО по прежнему атакует простых пользователей, однако операторы такой малвари давно поняли, что куда более привлекательными целями для атак могут стать различные компании и организации. Август 2019 года ознаменовался массовыми атаками на американские города и взломом стоматологических клиник.

Муниципальные власти Техаса

Муниципальные власти более чем двадцати городов в Техасе стали жертвами скоординированной атаки вымогателей. Подробностей о случившемся, к сожалению, немного. Сообщается лишь, что произошедшее — дело рук одного преступника (или преступной группы) и, по данным СМИ, техасские власти пострадали от вымогателя Sodinokibi (REvil).

По информации Департамента информационных ресурсов, жертвами дан ной атаки стали 22 города, но более 25% пострадавших уже перешли от ста дии первичного реагирования и оценки ущерба к стадии ликвидации пос ледствий и восстановлению.

Пока точные данные о пострадавших все равно не раскрываются, но два города сами публично сообщили о компрометации. Так, официальное заяв ление выпустили власти города Борджер.

Документ гласит, что инцидент повлиял на финансовые операции и услуги. По сути, город лишился возможности принимать коммунальные или иные платежи, а также в офлайн ушли службы демографической статистики (сви детельства о рождении и смерти).

Также официальное заявление сделали власти города Кин. Здесь адми нистрация тоже не может обрабатывать платежи по картам и испытывает проблемы с отключением коммунальных услуг. Интересно, что мэр города Гэри Хайнрих (Gary Heinrich) также рассказал изданию NPR, что вымогатели требуют у своих жертв 2,5 миллиона долларов выкупа в обмен на ключ для расшифровки файлов.

Кроме того, по словам Хайнриха, атака произошла через поставщика управляемых услуг (Managed services providers, MSP), чьими услугами город пользовался для технической поддержки. Мэр Кина не назвал имени этой сторонней компании, но заметил, что она предоставляла услуги ИТ поддер жки и многим другим пострадавшим муниципалитетам.

Напомню, что ранее поставщики управляемых услуг уже становились мишенями для операторов вымогательской малвари, так как через MSP весь ма удобно распространять вредоносное ПО на машины конечных поль зователей. К примеру, таким способом ранее распространялся ныне неак тивный шифровальщик GandCrab.

Стоматологии

В конце месяца известный ИБ журналист Брайан Кребс (Brian Krebs) сооб щил в своем блоге о компрометации поставщика облачных технологий PerC Soft. PerCSoft поддерживает сервис Digital Dental Record (DDR), с помощью которого работает решение для резервного копирования данных DDS Safe. Это решение применяется для архивации медицинской документации, стра ховых документов и другой личной информации пациентов, и им пользуются

сотни стоматологических клиник в США.
По	информации	Кребса,	атака	на	PerCSoft	произош

ла 26 августа 2019 года, после чего данные многих клиентов DDS Safe ока зались зашифрованы. Хотя компании происходящее не комментируют, оставляя запросы СМИ без ответов, Бренна Садлер (Brenna Sadler) из Сто матологической ассоциации Висконсина подтвердила Кребсу, что в резуль тате инцидента вымогатели зашифровали файлы приблизительно 400 сто матологических клиник. По ее данным, от 80 до 100 пострадавших уже вос становили свои данные.

Для быстрого разрешения ситуации Digital Dental Record и PerCSoft при няли решение заплатить операторам малвари выкуп, о чем сообщает изда ние ZDNet и сам Брайан Кребс, ссылаясь на собственные источники. По информации журналистов, уже в начале недели компании стали оказывать помощь пострадавшим клиникам, предоставляя в их распоряжение рас шифровщик и помогая восстанавливать поврежденные файлы. При этом представители некоторых стоматологических клиник жалуются в Facebook, что расшифровщик либо не сработал вовсе, либо помог восстановить не все данные.

Размер выплаченного выкупа точно неизвестен, но ИТ специалист, работающий в стоматологической отрасли, поделился фотографией в зак рытой группе Facebook. На этом фото якобы запечатлен разговор между представителем PerCSoft и пострадавшей стоматологической фирмой. В разговоре представитель PerCSoft убеждает клиента, что компания уже заплатила выкуп.

Кроме того, в той же закрытой группе в Facebook был опубликован скриншот работы дешифровальщика, на котором видно, что компании пострадали от вымогателя Sodinokibi (он же REvil), уже упоминавшегося в связи с атаками на города Техаса.

CHROME WEB STORE — ГОРОД ПРИЗРАК

Исследователи из компании Extension Monitor опубликовали интересную статистику о положе нии дел в каталоге расширений для Chrome. Как оказалось, половина экосистемы рас ширений — это настоящий город призрак.

В общей сложности в Chrome Web Store доступно 188 620 расширений, но большинство из них устарели, их аудитория сокращается, и лишь немногие из них имеют активные установки.

Около 50% всех расширений Chrome насчитывают менее 16 установок.

19 379 расширений (около 10%) не имеют установок вообще, а еще 25 540 расширений (13% от общего числа) имеют лишь одного пользователя.

Хуже того, 87% всех расширений в Web Store имеют менее 1000 установок, хотя поль зовательская база Chrome насчитывает более миллиарда человек.

Всего 13 расширениям удалось преодолеть планку в 10 000 000 пользователей. Это Google Translate, Adobe Acrobat, Tampermonkey, Avast Online Security, Adblock Plus, Adblock, uBlock Ori gin, Pinterest Save Button, Cisco WebEx, Grammarly for Chrome, Skype, Avast SafePrice и Honey.

Платных продуктов в Web Store насчитывается лишь 16 718, причем 5885 из них не имеют ни одного пользователя.

В общей сложности на платные расширения приходится всего 2,6% от общего числа уста новок.

УТЕЧКИ МЕСЯЦА

К сожалению, утечки данных теперь происходят едва ли не каждый день, и прошедший месяц, как обычно, не обошелся без подобных инцидентов. Перечислим наиболее заметные из них.

KYC-данные Binance

В начале августа 2019 года в Сети начали распространяться данные KYC (Know Your Customer), якобы похищенные у одной из крупнейших крип товалютных бирж мира — Binance.

Изначально представители Binance сообщили, что неизвестные злоумыш ленники пытались шантажировать их и требовали 300 BTC выкупа (поряд ка 3,5 миллиона долларов США), а в противном случае угрожали обнародо вать 10 тысяч фотографий, «которые имеют сходство с данными Binance KYC». Платить злоумышленникам в Binance отказались и заявили, что рас пространяющиеся по Сети KYC данные вызывают много вопросов. Так, срав нивая эту информацию с данными своих систем, представители биржи обна ружили множество несоответствий, а главным контраргументом стало то, что на изображениях нет цифровых водяных знаков, которые использует Binance.

Глава Binance Чанпэн Чжао (Changpeng Zhao) и вовсе называл происхо дящее FUD’ом (Fear, Uncertainty, Doubt), а официальное заявление биржи гла сило, что распространяющийся в Сети набор данных вообще похож на ста рую, весьма спорную «утечку» KYC информации сразу нескольких бирж, датированную началом года и ничем не подкрепленную.

Но в конце августа Binance опубликовала обновленную информацию отно сительно данного инцидента. Так, расследование выявило, что часть опуб ликованных изображений все же действительно пересекается с изображени ями, обработкой которых занимался неназванный сторонний подрядчик бир жи, сотрудничавший с Binance с декабря 2017 года до конца фев раля 2018 года. Подчеркивается, что вместе с этим в составе дампа было выявлено множество отфотошопленных и измененных другими способами изображений, не совпадающих с KYC данными пользователей и не имеющих водяных знаков.

Теперь биржа предлагает всем пострадавшим пожизненное членство в программе Binance VIP, которое подразумевает льготные торговые комис сии, поддержку и дополнительные услуги. Также пострадавшим настоятельно рекомендуется озаботиться перевыпуском документов, удостоверяющих лич ность, так как текущие, очевидно, были скомпрометированы.

Также представители Binance предложили вознаграждение в размере до 25 BTC (в зависимости от актуальности данных) за любую информацию, которая поможет идентифицировать неизвестного вымогателя и передать его в руки правоохранительных органов.

Пароли Coinbase

Представители еще одной крупной криптовалютной биржи, Coinbase, обна ружили баг на странице регистрации. Из за этой проблемы личные дан ные 3420 пользователей биржи сохранились в логах на серверах компании в формате простого текста.

Учитывая, что пользовательская база Coinbase насчитывает более 30 мил лионов человек, пострадал лишь малый процент пользователей.

ВCoinbase заверили, что в настоящее время проблема устранена, а лич ная информация пользователей не была скомпрометирована и не подверга лась злоупотреблениям. Тем не менее для пострадавших инициировали про цедуру сброса паролей.

Вофициальном заявлении объясняется, что в редких случаях форма регистрации могла загружаться с ошибкой и попытка создать новую учетную запись Coinbase завершалась неудачей. Но к сожалению, все введенные человеком данные, включая имя, адрес электронной почты и предлагаемый пароль (и штат проживания, если это был пользователь из США), все равно сохранялись во внутренних логах на серверах компании.

Как оказалось, в 3420 случаях пользователи успешно перезагрузили стра ницу регистрации, повторно ввели свои данные (включая такие же пароли, хеши которых совпадают с информацией, осевшей в логах) и завершили регистрацию.

Обнаружив и исправив ошибку, разработчики также проверили, где могли «засветиться» логи с пользовательскими данными в открытом виде. К при меру, у биржи есть внутренняя система ведения журналов, размещенная

вAWS. В Coinbase сообщают, что тщательный анализ доступа к подобным системам не выявил попыток несанкционированного доступа к данным.

Данные клиентов Hostinger

Один из крупнейших хостеров мира — компания Hostinger сообщила, что неизвестным злоумышленникам удалось получить доступ к внутреннему сер веру и, возможно, информации о клиентах. В результате этого инцидента могли пострадать 14 миллионов пользователей.

Как объясняют представители компании, инцидент имел мес то 23 августа 2019 года. Проникнув на сервер, хакер обнаружил там токен авторизации, благодаря которому сумел получить доступ к RESTful API и информации о 14 миллионах клиентов, включая username, email адреса, хешированные пароли, имена и IP адреса. Подчеркивается, что атакующие не добрались до финансовой информации и не ломали сайты пользователей.

В настоящее время ведется расследование случившегося, но предста вители хостера уже сбрасывают пароли для пострадавших учетных записей. Один из клиентов Hostinger, которого коснулась компрометация, связался с компанией и поинтересовался, какой алгоритм хеширования использовал ся для паролей. В Hostinger ответили, что данные были хешированы с помощью SHA 1 и теперь, после сброса паролей, используется SHA 2.

Точное количество пострадавших от этого инцидента пока неизвестно, так как злоумышленник обращался к базе через API, а записей о том, какие имен но вызовы он делал, не осталось. Фактически в настоящее время специалис ты Hostinger действуют исходя из худшего сценария развития событий, то есть предполагают, что компрометация затронула всех пользователей (хотя прямых доказательств этого нет).

Imperva WAF

Компания Imperva, специализирующаяся в области кибербезопасности и защиты от DDoS атак, сообщила о компрометации. Инцидент, о котором компании стало известно 20 августа 2019 года (благодаря предупреждению, полученному от неназванной третьей стороны), коснулся клиентов, исполь зующих Cloud WAF компании, зарегистрированных до 15 сентября 2017 года.

В официальном сообщении сказано, что в руки посторонних могли попасть адреса электронной почты, хешированные и соленые пароли, а для некой подгруппы пользователей ключи API и SSL сертификаты. Компания уже принесла свои извинения, начала уведомлять пострадавших и инициировать для них сброс паролей от учетных записей WAF.

Пока неясно, как именно случилась эта утечка данных, так как предста вители Imperva не комментируют ситуацию, ссылаясь на проводящееся рас следование, к которому уже привлечены правоохранительные органы.

То есть пока даже нельзя сказать, подверглась компания взлому или же сервер с данными был случайно оставлен «открытым» для всех желающих. Также неизвестно, когда произошел инцидент (можно предположить, что это случилось еще в 2017 году) и кто обнаружил проблему — один из кли ентов, багхантер или кто то другой.

СВОД РЕКОМЕНДАЦИЙ ПО «ЦИФРОВОЙ ГИГИЕНЕ»

В начале августа представители Роскачества опубликовали свод рекомендаций по «цифровой гигиене», в рамках которого дали несколько советов пользователям. Среди вполне очевидных рекомендаций, вроде установки антивируса, в Роскачестве также советуют заклеивать мик рофон и камеру устройства, отмечая, что это уже не паранойя, а одно из правил «цифровой гигиены».

→ «Стоит заклеивать камеру и микрофон до востребования. Это увеличит ваши шансы на при ватность и спокойствие — даже если к вам подключится хакер, он вас не увидит и не услышит. Кому то данная рекомендация может показаться паранойей, однако многие все же закрывают входную дверь на несколько оборотов, даже когда дома. Если есть возможность избежать неп риятностей таким легким способом, как заклейка камеры и микрофона, то лучше им восполь зоваться»

— рекомендация Роскачества

Продолжение статьи →

ГИГАНТЫ

ПЕРЕСТАНУТ

ПОДСЛУШИВАТЬ

Впрошлом месяце СМИ уличили компании Amazon, Apple, Google, Facebook и Microsoft в том, что те хранят записи разговоров пользователей с голосо выми помощниками и передают их для анализа живым людям (сотрудникам или сторонним подрядчикам). Таким образом эксперты разбираются в нюан сах разных языков и акцентов, транскрибируют отдельные отрывки раз говоров и тем самым помогают обучать ассистентов и совершенствуют работу систем обработки естественного языка.

Ксожалению, во всех случаях журналисты отмечали, что в распоряжении компаний регулярно оказываются не только команды, произнесенные после ключевых фраз «OK, Google» или «Привет, Siri», но и частные разговоры поль зователей, записанные по ошибке. Так, исследователи обнаружили, что ком пании слушают разговоры в спальне, разговоры между родителями и детьми, скандалы и рабочие телефонные звонки, содержащие много личной информации. К примеру, издание The Guardian сообщало, что подрядчики Apple регулярно слушают записи Siri, в которых содержатся данные о сек суальных контактах, покупке или продаже наркотиков, а также дискуссии меж ду врачами и пациентами.

В ответ на происходящее представители Apple поспешили заявить, что эта программа «оценки» пользовательских запросов была создана исключитель но для того, чтобы определить, корректно ли интерпретируются запросы людей и не «просыпается» ли Siri по ошибке. Также в компании подчеркивали, что доступные сотрудникам аудиоотрывки не связаны с конкретными поль зователями и их User ID и эксперты оценивают менее 1% ежедневных акти ваций Siri.

Также Apple временно приостановила работу программы во всем мире.

Вкомпании пообещали пересмотреть подход к контролю качества работы Siri, и уже в конце месяца компания принесла извинения пользователям и объявила об изменениях, которые коснутся того, как Siri обрабатывает аудиозаписи голосовых команд, а также того, кто именно может слушать и анализировать эти взаимодействия пользователей с голосовым ассистен том.

Так, грядущей осенью Apple планирует обновить свое ПО таким образом, чтобы попросить у пользователей согласие на создание аудиозаписей «общения» с Siri, а также загрузку этих файлов на свои серверы. Если поль зователь откажется от такой «прослушки», компания будет использовать сге нерированные компьютером расшифровки разговоров, чтобы улучшить работу Siri.

Кроме того, компания объявила, что обработка аудиозаписей Siri теперь станет исключительно внутренним процессом, то есть никаких больше сто ронних подрядчиков. Начиная с осени только сотрудникам Apple будет раз решено работать с записями Siri, а любые записи, которые будут определены как случайное «пробуждение» Siri, собираются немедленно удалять.

Похожие меры предприняли и другие компании, анализировавшие раз говоры пользователей. Так, компания Facebook призналась, что платит под рядчикам за прослушивание и расшифровку клипов, собранных в Messenger, но уже приостановила работу этой программы, учитывая негативную реакцию общественности.

По информации Bloomberg, подрядчикам было поручено проверять, пра вильно ли алгоритмы и ИИ системы Facebook интерпретируют аудиоконтент. «Прослушка» затрагивала только тех пользователей, которые разрешили транскрибирование своих голосовых чатов в приложении Facebook Messen ger, и все клипы, с которыми работали подрядчики, были анонимными.

Известно, что по меньшей мере одна компания, TaskUs, занималась рас шифровкой разговоров пользователей. Компания сотрудничала с Facebook

вкачестве клиента под кодовым именем Prism и также проверяла контент, который мог нарушать правила социальной сети. В TaskUs подтвердили жур налистам, что фирму уже попросили прекратить работу по расшифровке записей около недели тому назад.

Компания Microsoft, в свою очередь, обновила политики конфиденциаль ности и другие страницы, объясняющие принципы работы Cortana и Skype Translator. Теперь компания однозначно дает понять, что отрывки диалогов пользователей могут обрабатывать живые люди, а не только автоматика.

Похожее заявление сделала и компания Google. По информации Associat ed Press, после утечки тысячи записей Google Assistant в Бельгии Google в ЕС прекратит заниматься транскрипцией данных, записанных Google Assistant, как минимум на три месяца. Дело в том, что соответствующий запрет на ком панию наложило гамбургское бюро по защите данных: у ведомства возникли

серьезные сомнения в том, что текущее поведение Google Assistant не нарушает GDPR.

3 РЕКЛАМНЫХ БАННЕРА ПРИНОСЯТ БОЛЬШЕ ПРИБЫЛИ, ЧЕМ КРИПТОДЖЕКИНГ

Сводная группа исследователей из Университета Чикаго и Университета Крита опубликовала исследование, которое доказывает: криптоджекинг (майнинг криптовалюты через браузеры посетителей сайтов) приносит куда меньше прибыли, чем обычная реклама.

Исследователи подсчитали, что размещение на сайте 3 рекламных объявлений приносит в 5,5 раза больше прибыли, чем встраивание в страницы ресурса скриптов для криптоджекинга. Что бы обеспечить сравнимый уровень дохода, владельцу сайта необходимо удерживать посети телей более 5,53 минуты, а это непросто.

Также исследователи отмечают, что занимающиеся криптоджекингом сайты не только увеличи вают нагрузку на процессор, но и используют в 1,7 раза больше оперативной памяти, нежели ресурсы с обычной рекламой.

VALVE

И ДВА ЗЕРОДЕЯ

Первый 0-day

В начале августа ИБ специалист Василий Кравец в открытом доступе опуб ликовал информацию об уязвимости, которая позволяла добиться локаль ного повышения привилегий в клиенте Steam, после чего любой поль зователь получает возможность выполнять команды от имени NT AUTHORITY\SYSTEM. Уязвимость была проверена в Windows 8 x64, Windows 8.1 x64 и Windows 10 x64.

Проблема заключалась в том, что на момент публикации отчета спе циалиста баг все еще не был исправлен, хотя Кравец честно сообщил Valve об уязвимости через платформу HackerOne и выждал 45 дней после принятия отчета о проблеме.

Оказалось, сначала исследователю пришлось доказывать персоналу HackerOne, что у него действительно есть отчет об уязвимости, так как Valve использует функцию Managed by HackerOne, то есть информацию о проб лемах сначала проверяют специалисты платформы. Уже на этом этапе Кра вец получил первый отказ из за того, что предложенная им атака якобы тре бовала возможности располагать файлы в произвольных путях файловой сис темы.

Так как на самом деле ни одной операции с файловой системой спе циалист не предлагал, он добился перепроверки отчета и его все же переда ли инженерам Valve. Однако вскоре отчет вновь пометили как неприемлемый, так как «атака требует физического доступа к устройству пользователя». Исследователь с сожалением отмечал, что атаки на повышение привилегий, очевидно, попросту неинтересны Valve. Хуже того, специалисту запретили публиковать информацию о проблеме, даже учитывая, что Valve не собира лась ее исправлять.

«Довольно иронично обнаружить, что лаунчер, который фактически предназначен для того, чтобы запускать сторонние программы на вашем компьютере, позволяет им втихую получить максимальные привилегии», — писал Кравец.

После публичного раскрытия данных об уязвимости, а также о тщетных попыт ках добиться ее исправления, Valve и HackerOne подверглись резкой критике со стороны сообщества. В ответ на этот негатив Valve все таки выпустила исправление, воздерживаясь от комментариев, но уже через несколько часов специалисты заметили, что патч компании неэффективен и его можно легко обойти.

Хуже того, когда СМИ привлекли внимание к происходящему, выяснилось, что известный ИБ эксперт Мэтт Нельсон (Matt Nelson) тоже обнаруживал дан ную уязвимость и тоже пытался сообщить о ней компании через HackerOne. Однако и в этом случае Valve отказалась исправлять проблему, а затем отчет эксперта вообще был заблокирован, когда Нельсон хотел публично раскрыть ошибку и предупредить пользователей.

Второй 0-day

Затем Василий Кравец опубликовал подробный отчет о второй 0 day уяз вимости в клиенте Steam, также связанной с локальной эскалацией привиле гий. Более того, исследователь рассказал, что не имеет возможности сооб щить о проблеме Valve, так как после поднявшейся шумихи и публикации пер вого отчета его попросту забанили в bug bounty программе Valve

на HackerOne.

Вместе с этим ИБ сообщество продолжало критиковать Valve, так как проб лемы эскалации привилегий никак нельзя назвать пустяковыми. Разумеется, такие уязвимости не используются для первичного взлома компьютера и уда ленных приложений, но они полезны во время постэксплуатации и помогают злоумышленникам установить полный контроль над целью, получив права root/admin/system.

Отказавшись исправлять данные проблемы, Valve фактически подвергла опасности около 100 миллионов Windows пользователей, которые имеют на своих компьютерах установленный клиент Steam.

Патчи и изменения в bug bounty

В итоге 22 августа 2019 года компания Valve наконец отреагировала на про исходящее должным образом.

Во первых, Valve добавила исправления для описанных уязвимостей в бета версию клиента Steam, и пока сообщений об обходе этих патчей от исследователей не поступало.

Во вторых, представители компании Valve прервали свое затянувшееся молчание и в комментарии изданию ZDNet назвали все произошедшее огромным недоразумением:

«Правила нашей программы HackerOne должны были лишь отсеивать отчеты, которые предлагали проинструктировать Steam на запуск ранее установленного вредоносного ПО на компьютере пользователя от имени этого локального пользователя. Но вместо этого неправильное толкование правил привело к отсеиванию более серьезной атаки, которая предполагала выполнение локального повышения привилегий через Steam. Мы обновили правила нашей программы на HackerOne, чтобы прямо указать, что такие проблемы рассматриваются и о них следует сообщать».

Правила bug bounty программы компании действительно уже были обновле ны соответствующим образом. Кроме того, в компании назвали ошибкой отклонение первого отчета Кравеца, пообещали рассмотреть сложившуюся ситуацию еще раз и затем решить, как поступить дальше. Пока исследова тель по прежнему забанен Valve в H1.

КОЛИЧЕСТВО АТАК НА МОБИЛЬНЫЙ БАНКИНГ ВОЗРОСЛО В ДВА РАЗА

Исследователи компании Check Point представили отчет, посвященный основным тенденциям в кибератаках в первом полугодии 2019 года. Резко выросла доля атак на мобильный банкинг и облачные хранилища, а одной из самых распространенных угроз стала банковская малварь. Эксперты подчеркивают, что в наши дни ни одна сфера полностью не защищена от кибератак: опасности подвержены личные мобильные устройства, облачные хранилища, мобильный бан кинг, электронная почта, различные приложения и даже популярные почтовые платформы.

По данным компании, количество атак на мобильный банкинг возросло в два раза. Также киберпреступники активно используют атаки на цепочки поставок, а растущая популяр ность общедоступных облачных сред привела к увеличению числа кибератак, нацеленных на огромные объемы конфиденциальных данных, находящихся на этих платформах.

Наиболее серьезные угрозы для безопасности облаков в 2019 году — неправильная кон-

фигурация и плохое управление облачными ресурсами.

Среди вредоносов, наиболее активных в первом полугодии, по прежнему лидирует майнин говая малварь.

В России, в свою очередь, был очень активен вредонос по имени «Агент Смит». Под видом скрытого приложения, связанного с Google, вредоносная программа использует известные уязвимости Android и автоматически заменяет установленные легитимные приложения вре доносными версиями незаметно для пользователя. Пользователи загружали приложение из популярного неофициального магазина приложений 9Apps. «Агент Смит» заразил в России около 57 000 устройств.

ДЕГРАДАЦИЯ TOR. БЫСТРО, НЕДОРОГО

Эксперты из Джорджтаунского университета и Исследовательской лабора тории ВМФ США представили на конференции USENIX интересный доклад, посвященный деградации производительности сети Tor.

Исследователи утверждают, что ощутимо повредить работоспособности Tor можно простыми DDoS атаками на TorFlow, мосты Tor и конкретные узлы. Хуже того, такие атаки могут стоить тысячи или десятки тысяч долларов, что просто смехотворно, если речь идет о «правительственных хакерах» или серьезных киберпреступных группах.

Конечно, атака на всю сеть Tor полностью — это утопическая идея. Если говорить о DDoS, атакующим понадобится набрать мощность как минимум 512,73 Гбит/с, и это будет стоить примерно 7,2 миллиона дол ларов в месяц. Однако, по подсчетам исследователей, такие радикальные меры вовсе не обязательны.

Вместо этого специалисты предложили атаковать мосты Tor — специаль ные входные узлы, списка IP адресов которых нет в открытом доступе и которые поэтому нельзя легко заблокировать. Так, в Tor браузере есть спи сок предустановленных мостов, а также настройки можно найти на bridges. torproject.org. Мосты позволяют обходить цензуру в странах, где власти активно борются с использованием Tor.

Исследователи пишут, что в настоящее время далеко не все мосты Tor находятся в рабочем состоянии (по их информации, работают лишь двенад цать) и DDoS атака на них обойдется лишь в 17 тысяч долларов в месяц. И даже если заработают все 38 мостов, то атака на них будет стоить лишь 31 тысячу долларов в месяц.

Еще один возможный сценарий атаки — DDoS, направленная на TorFlow, систему балансировки нагрузки в сети Tor. Эта система распределяет тра фик, чтобы предотвратить переполнение и замедление работы некоторых серверов.

По подсчетам аналитиков, продолжительная DDoS атака на TorFlow, использующая общедоступные DDoS сервисы, будет стоить всего 2800 дол ларов в месяц. При этом, говорится в докладе, высокоточная симуляция показала, что подобная атака снизит среднюю скорость загрузки клиента на 80%.

Третий предложенный исследователями сценарий атак — это атаки на наиболее распространенный тип Tor серверов — конкретные Tor узлы (re lay). В данном случае предполагается не применять DDoS атаки, а исполь зовать проблемы самого Tor, то есть логические ошибки для замедления работы и времени загрузки контента. Подобные проблемы много лет эксплу атируются злоумышленниками и конкурирующими хак группами, и разработ чики Tor по мере сил борются с такими багами.

Как подсчитали эксперты, атаки на конкретные .onion ресурсы тоже стоят совсем недорого. Так, злоумышленник может увеличить среднее время заг рузки трафика на конкретном сайте на 120% всего за 6300 долларов в месяц или на 47% всего за 1600 долларов в месяц.

«Как известно, государства спонсируют DoS-атаки, а простота применения и низкая стоимость наших атак позволяют предположить, что власти могут использовать их для подрыва работы Tor как в краткосрочной, так и в долгосрочной перспективе. Мы полагаем, что государства могут, например, выбрать DoS в качестве альтернативы фильтрации трафика, поскольку Tor постоянно продолжает улучшать свою способность обхода блокировок и цензуры», — пишут исследователи.

23% ПОЛЬЗОВАТЕЛЕЙ НЕ ЗАЩИЩАЮТ СВОИ ЛИЧНЫЕ ДАННЫЕ

Компания ESET провела опрос о безопасном поведении в интернете. Согласно исследованию,

23% пользователей не предпринимают вообще ничего для защиты своих персональных дан ных;

17% опрошенных удаляют историю поисковых запросов;

15% признались, что заклеивают веб камеру, чтобы злоумышленники не могли за ними под глядывать;

Также выяснилось, что некоторых пользователей навязчивая реклама волнует не меньше безопасности, поэтому они указывают временные email при регистрации, чтобы не получать спам. Таких насчитывается 13%.

НОМЕР NULL — ПЛОХАЯ ИДЕЯ

Как известно, в США правила допускают использование персонализирован ных номерных знаков для автомобилей (хотя и с некоторыми ограничениями). Однако история, которой поделился на конференции DEF CON ИБ иссле дователь, известный под псевдонимом Droogie, выступая с докладом об экранировании входных данных, доказывает, что проявлять излишнее творчество и юмор в таких делах все же не стоит.

Droogie на DEF CON

Шутки ради Droogie зарегистрировал в Калифорнии номерной знак, сос тоящий исключительно из слова NULL. Исследователь признался аудитории, что изначально просто хотел пошутить, а также в глубине души надеялся, что этот трюк поможет ввести в заблуждение автоматические считыватели номерных знаков и систему выдачи штрафов Министерства транспорта США (DMV), сделав его настоящим невидимкой. Но в реальности все вышло сов сем наоборот.

В течение первого года Droogie, как аккуратный водитель, вообще не получал никаких штрафов и казалось, что все в порядке. Первый тревож ный звоночек прозвенел, когда исследователь решил перерегистрировать свои номера через интернет: на сайте ему предложили ввести свой номер ной знак, но после ввода NULL страница DMV сломалась и отказалась рас познать ввод.

Затем Droogie получил штраф за неправильную парковку и понял, что стать невидимкой ему не удалось. Хуже того, оказалось, что после этого база дан ных неоплаченных штрафов связала номерной знак NULL с его адресом, и на исследователя посыпались сотни чужих штрафов. Дело в том, что база нап равляла на адрес исследователя все штрафы для случаев, когда номера автомобилей нарушителей были ей неизвестны. Вскоре общая стоимость штрафов, полученных Droogie, составила 12 049 долларов.

Продолжение статьи →

Когда исследователь связался с представителями DMV и полицией Лос Анджелеса, объяснив им, что происходит, те лишь развели руками

ипосоветовали ему поменять номера.

Ихотя чужие штрафы на сумму 12 тысяч долларов с Droogie сняли, ком

пания, управляющая базой данных, по прежнему не решила проблему и чужие штрафы продолжают поступать специалисту до сих пор. В настоящее время система считает, что Droogie должен оплатить штрафов примерно на 6000 долларов, но исследователь сообщил под смех аудитории, что опла чивать их он не намерен.

НОВАЯ ТЕХНИКА DDOS АТАК

Эксперты Qrator Labs отразили направленные на международную хостинговую платформу Servers.com DDoS атаки, длившиеся с 18 по 20 августа 2019 года. В их числе была первая в мире зафиксированная на практике широкомасштабная атака с использованием одного из векторов TCP амплификации (реплицированный SYN/ACK флуд).

→ «Произошедший инцидент — отличная демонстрация того, насколько хрупким является сов ременный интернет. Прошло почти пять лет с тех пор, как был опубликован исследовательский документ, описывающий технику SYN/ACK амплификации. Тем не менее за это время не было предпринято никаких инженерных усилий для решения проблемы, что в итоге привело к серии успешных атак с абсолютно разрушительными последствиями.

Сегодня нам нужны более совершенные протоколы, инфраструктура и технологии для пре дотвращения подобных атак в ближайшем будущем. Необходимо построение системы управле ния угрозами, составление планов по снижению рисков и их корректировка не реже одного раза в год, поскольку в наши дни ситуация с угрозами безопасности меняется очень быстро»

— Александр Лямин, основатель и генеральный директор Qrator Labs

ВРЕДОНОСНЫЙ

КАБЕЛЬ

Энтузиаст под псевдонимом MG давно и хорошо известен в ИБ сообществе. Так, при создании вредоносного кабеля USBHarpoon именно его работами вдохновлялись такие легенды, как Кевин Митник. Дело в том, что MG не раз демонстрировал в своем Twitter атаки через рукотворные вредоносные USB кабели и даже несостоятельность специальных переходников (такие решения известны, как USB презервативы или USB condom), которые призваны защищать от атак через USB.

Свое новое творение — вредоносный кабель под названием O.MG cable, разработанное при поддержке еще нескольких талантливых инженеров, MG впервые продемонстрировал еще в начале текущего года. Такой кабель внешне не отличается от обычного, и его можно подключить к машине под управлением Linux, Mac или Windows.

Однако на деле O.MG cable совсем не так прост: он определяется сис темой как HID (Human Interface Device), то есть USB девайс для взаимодей ствия с человеком (обычно это клавиатура, мышь, игровой контроллер и подобное). Так как MG добавил своей разработке и поддержку беспровод ных соединений, в итоге, благодаря подключению O.MG cable к целевой машине, злоумышленник получает возможность выполнять через Wi Fi любые команды, будто просто набирает их на клавиатуре целевого компьютера.

На этот раз MG пошел дальше демонстрации прототипа в Twitter и привез вредоносные кабели на ИБ конференцию DEF CON, где их можно было при обрести по цене 200 долларов США за штуку. O.MG cable поставляется с уже готовыми пейлоадами, и его оператор даже имеет возможность удаленно «убить» USB имплантат, заметая следы.

В настоящее время (при прямом подключении к кабелю) атакующий может находиться в радиусе примерно 90 м от своей цели, но MG подчеркивает, что кабель также можно настроить для работы в качестве клиента в ближайшей беспроводной сети. И если эта беспроводная сеть имеет выход в интернет, расстояние атаки уже ничем не ограничено.

Исследователь рассказал, что переделывать оригинальные кабели Apple вручную оказалось непростой задачей, но, если делать кабели с нуля и в большем масштабе, эта проблема отпадет сама собой (пока на сборку одно го кабеля MG тратит около четырех часов).

Дело в том, что домашний проект O.MG cable вот вот перерастет в пол ноценное производство, так как с MG уже согласилась сотрудничать Hak5 и производство O.MG cable планируют поставить на поток, продавая устройства как легитимный инструмент для пентестеров и ИБ специалистов.

Согласно блогу MG, стоимость серийных O.MG cable должна составить около 100 долларов США. Точных дат начала продаж MG пока не называет, но на сайте Hak5 уже появилась специальная страница, где можно зарегис трироваться и получить уведомление, когда кабели будут готовы.

ДВУХФАКТОРНАЯ АУТЕНТИФИКАЦИЯ ЗАЩИТИТ ОТ 99,9% ПОПЫТОК ВЗЛОМА

По статистике компании Microsoft, многофакторная аутентификация позволяет блокировать 99,9% автоматизированных атак, причем речь идет не только об учетных записях Microsoft, но и о любых других профилях, на любых веб сайтах или онлайн сервисах.

Блог компании сообщает, что каждый день совершается более 300 000 000 попыток мошен нического входа в облачные сервисы Microsoft и включение многофакторной аутентификации помогает блокировать большинство, даже если в распоряжении хакеров есть копия текущего пароля пользователя.

Оставшиеся 0,1% приходятся на более сложные атаки, связанные с захватом токенов мно гофакторной аутентификации, но подобные атаки пока редки по сравнению с credential stuffing атаками ботнетов.

ПРОБЛЕМЫ В КОДЕ

BOEING 787

Специалист компании IOActive Рубен Сантамарта (Ruben Santamarta) пред ставил на конференции Black Hat крайне интересный доклад. Исследователь рассказал, что в сентябре прошлого года ему случайно удалось обнаружить

вСети исходные коды Boeing 787 Dreamliner. Впоследствии было под тверждено, что эти work in progress коды были случайно оставлены на обще доступном сервере Boeing, принадлежащем RnD подразделению компании.

Изучив исходники, исследователь выявил в них ряд уязвимостей и пришел к выводу, что благодаря этим багам теоретически возможен даже угон самолета.

Сантамарта объясняет, что на борту Boeing 787, по сути, присутствуют три электронные сети: первая, в которой работают разные некритичные системы, такие как бортовая развлекательная система; вторая, более изолированная, где базируются более важные приложения, зарезервированная для экипажа и технического обслуживания; и третья, самая защищенная, отведенная для работы авионики (совокупность всех систем, разработанных для исполь зования в авиации в качестве бортовых приборов).

На общедоступном сервере Boeing эксперту удалось обнаружить исходники, относящиеся ко второй сети: прошивки Crew Information System / Maintenance System (CIS/MS), а также Onboard Networking System (ONS) для Boeing 787 и 737.

Проведя анализ исходников, а также изучив найденные в открытых источниках документы, Сантамарта выявил в коде ряд проблем. К примеру,

всвоем докладе исследователь предлагает использовать баги в бортовой развлекательной системе в первой сети, чтобы проникнуть во вторую сеть и там эксплуатировать уязвимости в CIS/MS, в итоге попав в третью сеть, где будет возможно подключиться к авионике, повлиять на показания приборов и даже угнать воздушное судно.

Визученном коде сотрудникам IOActive удалось выявить сотни ссылок на небезопасные вызовы функций в кастомных частях имплементации ядра VxWorks CIS. Также были обнаружены проблемы, связанные с целочисленны ми переполнениями, переполнением буфера, отказом в обслуживании, out of bound чтением и записью, нарушением целостности информации в памяти и так далее.

При этом эксперт подчеркивает, что поработать с настоящим Boeing 787 «вживую» ему не удалось, то есть все тесты проводились на несертифици рованной платформе, и Сантамарта не смог доподлинно убедиться, действи тельно ли бы он сумел эксплуатировать найденные уязвимости и с их помощью контролировать системы управления полетом.

Представители IOActive связались с инженерами компаний Boeing и Hon eywell (разработчик CIS/MS), и те подтвердили наличие проблем в коде Boe ing 787. Однако вместе с этим разработчики сообщили, что им не удалось воспроизвести описанные исследователем атаки на практике и захватить контроль над авионикой, а значит, системы воздушных судов нельзя считать уязвимыми. Кроме того, в Boeing уверяют, что компания уже предприняла защитные меры, которые дополнительно мешают эксплуатации багов. Под твердить или опровергнуть это заявление в IOActive не смогли.

Представители Boeing рассказали британскому изданию The Register, что они «разочарованы безответственной и вводящей в заблуждение презен тацией IOActive». По словам представителей компании, исследователи IOAc tive изучили лишь одну часть сети Boeing 787, используя для этого «рудимен тарные инструменты», не имея доступа к другим системам и фактической рабочей среде. Но исследователи решили проигнорировать эти ограничения и подтвержденные результаты тестов, проведенные специалистами самой Boeing, и теперь выступают с «провокационными заявлениями, будто у них был доступ и они анализировали работающую систему».

ПОКОНЧИТЬ С WINDOWS 7 БУДЕТ НЕПРОСТО

Эксперты «Лаборатории Касперского» предупредили, что не только простые пользователи, но и малый и средний бизнес по прежнему активно используют Windows 7 и скорое прекращение поддержки вряд ли быстро это изменит.

Расширенная поддержка Windows 7 будет прекращена 14 января 2020 года. Microsoft про должит предоставлять обновления безопасности некоторым пользователям и после этой даты, вплоть до января 2023 года, но придется платить за каждое устройство отдельно, и цена будет возрастать каждый год.

По данным исследователей, 47% представителей малого и среднего бизнеса по прежнему полагаются на Windows 7, тогда как среди домашних пользователей это значение равно 38%.

Интересно, что Windows 10 тоже используют 47% организаций, то есть в случае малого и среднего бизнеса наблюдается паритет.

К счастью, уже практически никто не пользуется Windows XP, Vista и Windows 8 (количество домашних и корпоративных пользователей не превышает 1–2% от общего числа).

Однако Windows 8.1 все еще может похвастаться 7% домашних установок и в 5% случаев при меняется на предприятиях.

→ «Широкое распространение Windows 7 вызывает беспокойство, так как до окончания под держки осталось менее шести месяцев. Причины такого отставания в обновлении ОС могут быть разными, начиная от установленного программного обеспечения, которое может быть не в состоянии работать с новейшими версиями ОС, и заканчивая экономическими причинами или простым удобством от использования привычной ОС», — говорит специалист «Лаборатории Касперского» Алексей Панкратов.

ВЗЯТКА ЗА МАЛВАРЬ

Министерство юстиции США сообщило, что сотрудники компании AT&T получили более миллиона долларов взяток за внедрение вредоносного ПО и несанкционированного оборудования в сети компании, а также разблокиров ку двух миллионов мобильных устройств.

Следствию стало известно о происходящем во время разбирательства по делу 34 летнего гражданина Пакистана Мухаммеда Фахда (Muhammad Fahd) и его сообщника Гулама Дживани (Ghulam Jiwani), который в настоящее время считается умершим. Именно этих двоих обвиняют в подкупе сотрудни ков AT&T в вашингтонском кол центре Mobility Customer Care.

Фахд был арестован в Гонконге в феврале 2018 года и экстрадирован в США в июле 2019 года. Сейчас ему предъявлен целый ряд обвинений, из за чего ему грозит тюремное заключение на срок до двадцати лет.

Сообщается, что злоумышленники подкупали сотрудников компании

сапреля 2012 года по сентябрь 2017 го. Начинали Фахд и Дживани с малого: со взяток за разблокировку дорогих iPhone, чтобы устройства можно было использовать за пределами сети AT&T.

Мошенники связывались с сотрудниками компании через социальные сети или по телефону, и, если те «за скромное вознаграждение» соглашались разблокировать устройства, им передавали списки кодов IMEI. После этого взятки переводились на банковские счета сотрудников, созданные под прик рытием подставных компаний, или же пакистанцы попросту передавали инсайдерам наличные. Хуже того, кому то платили за то, чтобы помочь опре делить других сотрудников, которых можно подкупить и убедить присоеди ниться к мошеннической схеме.

Этот первоначальный этап длился примерно год, до апреля 2013 года, и в результате несколько сотрудников AT&T были уволены или сами покинули компанию.

Затем Фахд изменил тактику, и работников AT&T стали подкупать ради установки малвари в сети компании (в упомянутом кол центре в штате Вашингтон). Согласно судебным документам, изначально вредоносная прог рамма собирала данные о том, как работает инфраструктура AT&T. Судя по описанию, это был кейлоггер, способный собирать конфиденциальную и закрытую информацию о структуре и функционировании внутренних защищенных систем и приложений компании.

По данным Минюста, после этого пакистанские злоумышленники создали вторую версию малвари, которая использовала информацию, собранную первым вредоносом. Так, эта малварь использовала похищенные учетные данные сотрудников AT&T для выполнения автоматических действий с внут ренним приложением компании. Теперь мошенники могли разблокировать телефоны автоматически, и необходимость каждый раз взаимодействовать

ссотрудниками и подкупать их отпала.

В2014 году у Фахда начались проблемы с управлением этой вредоносной «закладкой», и он был вынужден подкупить сотрудников кол центра еще раз, теперь для установки в сети компании ряда точек беспроводного доступа. Через эти девайсы злоумышленники вновь получили доступ к внутренним приложениям и сети AT&T, продолжив массово разблокировать телефоны.

По информации следствия, в общей сложности Фахд и Дживани потратили на взятки более миллиона долларов США и успешно отвязали от сети AT&T свыше двух миллионов устройств (в основном это были дорогие iPhone). Так, за пять лет только один из сотрудников AT&T получил взяток на сумму более 428 500 долларов США. Трое неназванных соучастников этой схемы уже признали свою вину.

Известно, что Фахд и Дживани управляли сразу тремя компаниями: End less Trading FZE, Endless Connections Inc. и iDevelopment. При этом Минюст не уточняет, занимались обвиняемые разблокировкой украденных устройств или просто запустили сайт, где предлагали услуги по разблокировке мобиль ных устройств. Потери AT&T от действий мошенников оцениваются приб лизительно в пять миллионов долларов в год.

Представители AT&T уже заявили, что сотрудничали с правоохранитель ными органами, расследовавшими данную мошенническую схему, и подчер кнули, что личные данные клиентов от действий Фахда и Дживани не постра дали.

ДРУГИЕ ИНТЕРЕСНЫЕ СОБЫТИЯ МЕСЯЦА

Эксперты Google обнаружили сайты, годами атаковавшие пользователей iOS

Малварь TrickBot теперь ворует PIN коды и учетные данные от аккаунтов Verizon, T Mobile

и Sprint

Специалисты Avast и французская полиция обезвредили ботнет, насчитывавший 850 тысяч машин

После раскрытия уязвимостей на Black Hat начались атаки на VPN решения Fortigate и Pulse Secure

Исследователи предупредили, что протокол WS Discovery используется для DDoS атак Представлен ключ YubiKey 5Ci, совместимый как с USB C, так и с Lightning

Две новые уязвимости с потенциалом червя угрожают Windows и похожи на BlueKeep

В коде Webmin более года скрывался бэкдор

Из за ошибки продукты «Лаборатории Касперского» позволяли сайтам шпионить за поль зователями

Только 26% пользователей согласились сменить пароль, узнав о его компрометации

ОБМАН FACE ID, СРАВНЕНИЕ JAVA И KOTLIN И РАЗБОР ПАТТЕРНОВ

MVC, MVI, MVVM

ПОЧИТАТЬ

Как обмануть Face ID

Biometric Authentication Under Threat: Liveness Detection Hacking — презен тация с Black Hat, посвященная способам обмана биометрических сенсоров в смартфонах (датчик отпечатка пальца, сканер лица и сетчатки). Авторы при водят несколько способов обхода датчиков, в том числе с помощью прямого подключения к шине камеры и подачи на нее заранее снятого изображения (это позволяет обойти алгоритмы определения реального присутствия человека, но не лазерные сканеры в iPhone и некоторых других смартфонах). Но интереснее всего способ обмана сканера Face ID в iPhone X и более поз дних моделях.

Во время сканирования iPhone строит подробную 3D модель лица человека и требует, чтобы глаза были открыты. Такой подход сводит на нет почти все методы манипуляции, включая показ фотографии, видеозаписи, поднесение смартфона к лицу спящего человека и так далее.

Но у этого механизма есть фундаментальный изъян. При сканировании лица человека в очках он не может полагаться на 3D сканирование глаз и переключается на куда более простой алгоритм: если в районе глаз есть белая точка на черном фоне — глаза считаются открытыми. Достаточно взять любые очки, наклеить на них два кусочка черной изоленты, нарисовать в их центре белые кружки, и вуаля: надеваем очки на спящего человека, подносим к его лицу смартфон — и экран разблокирован.

Очки для обмана Face ID

Реверс инжиниринг прошивок IoT-устройств

How to Start IoT device Firmware Reverse Engineering? — введение в реверс инжиниринг прошивок различных IoT устройств, таких как роутеры, камеры, устройства для умного дома и так далее. Статья короткая, простая, но содержит несколько вводных рекомендаций, которые могут пригодиться новичкам.

1.Любой реверс начинается с поиска самой прошивки. Обычно ее можно скачать с сайта производителя или на форумах.

2.Зачастую прошивки распространяются в zip архиве, внутри которого находится файл с расширением .bin.

3.Обычно файл .bin — это сплав из загрузчика, ядра Linux и образов одного или нескольких разделов. Чтобы узнать адреса смещений, по которым находятся эти образы в файле, можно использовать утилиту binwalk:

$ binwalk e TL WR841Nv14_EU_0.9.1_4.16_up_boot[180319 rel57291].

bin

4. Адрес смещения можно использовать, чтобы извлечь образ раздела с помощью утилиты dd (в данном случае образ корневой файловой сис темы squashfs):

$ dd if= TL WR841Nv14_EU_0.9.1_4.16_up_boot[180319 rel57291].bin

skip=1049088 bs=1 of=TP.sfs

5.Получить содержимое файловой системы squashfs позволяет утилита un squashfs:

$ unsquashfs TP.sfs

6.На этом все, можно начинать анализ содержимого прошивки.

РАЗРАБОТЧИКУ

Сравнение производительности Java и Kotlin

Java vs. Kotlin — Part 1: Performance — сравнение производительности Java и Kotlin с помощью набора бенчмарков Computer Language Benchmark Game (CLBG), используемого во многих исследовательских работах.

Автор взял шесть бенчмарков CLBG на Java, сконвертировал их в Kotlin с помощью встроенного в Android Studio конвертера, а затем переписал их в соответствии с особенностями Kotlin и рекомендациями JetBrains по написанию кода. Затем сравнил производительность и потребление памяти всех трех версий кода на стандартной виртуальной машине Java HotSpot.

Результаты бенчмарка

Результаты получились интересные. Почти во всех тестах выиграла Java, и лишь в двух впереди оказался Kotlin, но не вручную написанный код, а скон вертированный из Java. Так получилось потому, что разработчики Kotlin рекомендуют использовать синтаксический сахар и функциональное прог раммирование, которые существенно упрощают написание кода, но создают дополнительный оверхед.

Заметно также, что Kotlin значительно проиграл по потреблению памяти в тесте Fannkuch Redux. Причина: использование полноценного объекта Inte ger для хранения простых чисел в противовес Java, которая использует для этого переменные.

В целом Java код оказался на 6,7% быстрее кода на Kotlin.

MVC, MVP, MVVM, MVI: в чем разница?

MVWTF: Demystifying Architecture Patterns — разбор и сравнение различных паттернов проектирования ПО, позволяющих разделить бизнес логику, дан ные и графический интерфейс приложения.

MVC (Model — View — Controller) — старейший паттерн проектирования, родившийся в 1970 х годах в среде разработчиков Smalltalk. Он разделяет приложение на три компонента:

• Модель — источник данных: база данных, сетевой ресурс, файл, что угодно. Модель отвечает только за извлечение данных, но не за их отоб ражение.

• Представление (View) отвечает только за отображение данных, без какой либо логики: что получил, то и показал.

•Контроллер — связующее звено между моделью и представлением. Контроллер ответственен за получение данных модели и передачу их представлению с внесением необходимых преобразований. Также кон троллер отвечает за получение данных из форм ввода и передачу их модели.

Главная проблема MVC в случае с Android заключается в том, что контроллер и представление приходится реализовать внутри активности или фрагмента, а это значит, что они не будут по настоящему разделены, а написание unit тестов существенно затруднится (нельзя просто так взять и написать JUnit тест для активности или фрагмента).

MVP (Model — View — Presenter) — развитие идеи MVC, в котором кон троллер отделен от представления с помощью абстрактного интерфейса. MVP позволяет по настоящему отделить компоненты приложения друг от друга и упрощает unit тестирование.

MVVM (Model — View — ViewModel) — дальнейшее развитие MVP, в котором контроллер/презентер полностью отвязан от представления. Роль контрол лера здесь выполняет ViewModel, которая, как и контроллер/презентер, получает данные от модели и выполняет необходимые преобразования, но не отдает их напрямую представлению. Вместо этого представление под писывается на обновления ViewModel и отображает их по мере обновления. MVVM реализуется с помощью реактивных фреймворков, таких как RxJava

или Android Architecture Components.

В случае с Android MVVM решает одну из самых раздражающих проблем: потерю связей при изменении конфигурации. Например, когда пользователь поворачивает экран смартфона, Android убивает текущую активность и вос создает ее заново. При использовании паттерна MVP презентер будет про должать хранить ссылку на представление, которое находится в теперь уже несуществующей активности. При использовании MVVM представление во вновь созданной активности просто подпишется на ViewModel, получит от нее данные и отобразит их.

MVI (Model — View — Intent) — паттерн, призванный решить проблему MVVM под названием «согласованность состояния». Дело в том, что на опре деленном уровне сложности ViewModel на поверхность быстро вылезет слож ность контроля текущего состояния: ViewModel может быть изменена сразу несколькими компонентами приложения, а каждое изменение может привес ти к конфликтам в общем состоянии ViewModel.

Решить эту проблему можно с помощью хорошо известных веб прог раммистам инструментов: стейт контейнера и редусера (привет, Redux). С их помощью можно создать единую точку хранения состояния приложения, поз воляющую менять состояние атомарно и консистентно.

Примеры реализации паттернов размещены на GitHub автора статьи.

Советы по использованию Android Studio

Get the most out of Android Studio as an IDE — очередная статья на тему эффективного использования Android Studio.

•Скретч файл. Время от времени мы хотим проверить фрагмент кода на работоспособность. Android Studio позволяет сделать это с помощью так называемого скретч файла, представляющего собой нечто вроде интерактивной консоли, в которой можно быстро запустить код на Java, Kotlin и других языках. Для вызова скретч файла набираем Ctrl + Shift + A, затем набираем scratch и жмем Enter. В коде можно использовать любые классы из текущего проекта.

•Документация на модуль. Android Studio умеет автоматически показы вать документацию на любой модуль, подключенный к проекту. Для этого необходимо включить настройку File → Settings → Editor → General → Oth er section → Show quick documentation on mouse move, а затем провести мышкой над именем нужной функции.

•Поиск по коду. Чтобы найти нужную функцию или переменную в коде проекта, достаточно нажать Ctrl + Shift + F и ввести ее имя.

•Форматирование кода. Выровнять отступы в коде, убрать лишние про белы и пустые строки можно с помощью комбинации Ctrl + Alt + L.

•Быстрая навигация. Комбинации Ctrl + Alt + Влево и Ctrl + Alt + Вправо позволяют быстро перемещаться между фрагментами кода, на которые ты переходил или которые правил в последний раз.

•Переключение вкладок. Комбинации Ctrl + Alt + [ и Ctrl + Alt + ] перек лючают открытые вкладки кода.

ИНСТРУМЕНТЫ

• Mobile Security Penetration Testing List — подборка инструментов для мобильного пентестера;

•kobackupdec — скрипт для расшифровки бэкапов, сделанных с помощью встроенных в смартфоны Huawei приложений HiSuite и KoBackup;

•FBUnpinner — патч для Android версий приложений Facebook и WhatsApp,

позволяющий обойти SSL Pinning.

БИБЛИОТЕКИ

•AndroidX Tech — сайт с дополнительной информацией о библиотеках семейства Android X;

•Colibri — библиотека для автоматизированного тестирования UI приложе ния;

•Ulfberht — написанный на Kotlin DI фреймворк;

•Submarine — всплывающая панель навигации;

•Coil — написанная на Kotlin библиотека для загрузки изображений, быс трая и легкая альтернатива Picasso и Glide;

•sign in with apple button android — Android библиотека для аутентифика ции с помощью сервиса Sign In with Apple;

•finch — панель для инспекции okHttp трафика;

•kotlin multiplatform template — готовый темплейт для мультиплатфор менного Kotlin приложения, в комплекте: бэкенд, фронтенд, Android при ложение и iOS приложение;

•Bulldog — библиотека, упрощающая работу с SharedPreferences;

•SimpleGenericAdapter — универсальный адаптер для RecyclerView;

•ProgressView — анимированный гибко настраиваемый виджет прогресса;

• BottomNavigator — библиотека для навигации между фрагментами с помощью табов в нижней части экрана.

КАК НАУЧИТЬ НЕЙРОСЕТЬ ПРЕДСКАЗЫВАТЬ УСПЕШНОСТЬ ПОСТОВ В СОЦСЕТИ

Для начала в проекте на Qt в файле .pro подключим библиотеку network, добавив строку QT += network. Чтобы разместить пост на стене группы, выполняем код:

QString cit = "Hello!";

QUrl apiUrl;

QString str = "https://api.vkontakte.ru/method/wall.

post?owner_id= 78329950&message=" + cit + "&from_group=1&access

_token=abcdef&v=5.73";

apiUrl.setUrl(str);

QByteArray requestString = "";

QNetworkRequest request(apiUrl);

request.setRawHeader("Content Type", "application/octet stream");

QNetworkAccessManager manager_vk;

connect(&manager_vk, SIGNAL(finished(QNetworkReply*)), this, SLOT(

slotV(QNetworkReply*)));

manager_vk.post(request, requestString);

Как видишь, мы отправляем запрос POST с адресом в переменной str. Используем метод VK API wall.post, чтобы разместить пост на стене группы. Параметр owner_id должен быть равен номеру группы, но записан со знаком минус; параметр message содержит текст поста; from_group — указатель, что пост будет размещен от имени сообщества, он равен единице; access_to ken — токен доступа.

•Подробная документация по VK API

•Руководство по созданию приложений для VK

и получению access_token

Ты мог заметить, что для обработки запроса мы подключили слот slotV. Он может выглядеть так:

void MainWindow::slotV(QNetworkReply* r)

{

qDebug() << QString::fromUtf8(r >readAll());

}

В консоли ты увидишь результат запроса: ошибку, если что то пойдет не так, или сообщение с номером опубликованного поста.

СОБИРАЕМ БАЗУ ДАННЫХ ДЛЯ ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ

Чтобы обучить нейронную сеть, нам нужна обширная база данных постов, оцененных реальными пользователями. Ты можешь взять данные из своей группы, а можешь воспользоваться данными из любой другой открытой груп пы. Нам нужно собрать файл с отметками о количестве лайков для каждого поста. Для этого напишем программу.

Чтобы извлечь каждый пост, отправляем запрос GET:

QString str = "https://api.vk.com/method/wall.getById?posts= 783299

50_" + QString::number(cnt) + "&v=5.84&access_token=abcdef";

Мы используем метод VK API wall.getById: извлекаем пост со стены группы по его номеру.

Параметр posts содержит уникальный идентификатор поста (здесь —78329950_123), который состоит из идентификатора группы со знаком минус и порядкового номера поста, разделенных знаком _. Порядковый номер поста содержится в переменной cnt. Параметр access_token — это токен доступа к группе.

Отправим этот запрос столько раз, сколько постов нам нужно извлечь, изменяя переменную cnt в соответствии с порядковым номером поста. Получим код HTML, который будет содержать текст поста, количество лайков

идругую информацию. Распарсим каждый ответ, чтобы извлечь из него текст

иколичество лайков. Сохраним в текстовый файл данные, которые мы получили.

номер поста #1

текст поста #1

количество лайков #1

номер поста #2

текст поста #2

количество лайков #2

...

номер поста #n

текст поста #n

количество лайков #n

Теперь, когда все посты записаны в файл, мы готовы синтезировать нейрон ную сеть и обучать ее.

KERAS

Нам понадобится Keras — библиотека для работы с нейронными сетями.

Есть замечательная книга — «Глубокое обучение на Python» Франсуа Шолле. По ней ты можешь освоить теорию, ознакомиться с примерами решения задач от самых простых до весьма слож ных, таких как сверточные сети и генерация изоб ражений.

Для начала выполним ряд стандартных действий и установим Python:

$ sudo apt get update

$ sudo apt get upgrade

$ sudo apt get install python pip python dev python setuptools

Затем установим пакеты научных вычислений для Python:

$ sudo apt get install build essential cmake git unzip pkg config

libopenblas dev liblapack dev

$ sudo apt get install python numpy python scipy python matplotlib

python yaml

$ sudo apt get install libhdf5 serial dev python h5py

Поставим TensorFlow:

$ sudo pip install tensorflow

И саму библиотеку Keras:

$ sudo pip install keras

Можно установить Keras и из репозитория на GitHub. В этом случае ты получишь доступ к папке keras/examples с примерами сценариев.

$ git clone https://github.com/fchollet/keras

$ cd keras

$ sudo python setup.py install

Чтобы проверить, что все установилось, попробуй запустить сценарий Keras.

python examples/mnist_cnn.py

Для выполнения этого примера может потребоваться несколько минут.

СИНТЕЗИРУЕМ И ОБУЧАЕМ НЕЙРОННУЮ СЕТЬ

Основу своей нейронной сети я выбрал из библиотек Keras — нейронная сеть предсказывает, какой отзыв получит рецензия на фильм: положительный или отрицательный. В нашем случае сеть будет определять, получит пост лай ки или нет. Начнем с подключения всех необходимых библиотек и модулей.

#! /usr/bin/env python

# * coding: utf 8 *

from keras.preprocessing.text import Tokenizer

from keras.preprocessing			import	sequence
from keras.models import			Sequential, load_model
from keras.layers import			Dense,	Dropout, Activation
from	keras.layers	import	Embedding
from	keras.layers	import	Conv1D, GlobalMaxPooling1D

import numpy as np

import pickle

Объявим два массива: string_list и mark_list. В первом будут храниться тексты постов, а во втором ноль, если у соответствующего поста не было лай ков, и единица, если были. Прочитаем все посты из созданного ранее файла базы данных.

string_list = []

mark_list = []

handle = open("vkbase.txt", "r")

for i in range(20000):

s = handle.readline()

s = handle.readline()

string_list.append(s)

s = handle.readline()

l = int(s)

if l > 0:

mark_list.append(1)

else:

mark_list.append(0)

Создадим и подготовим токенайзер:

tokenizer = Tokenizer(num_words=15000)

tokenizer.fit_on_texts(string_list)

Токенайзер создает таблицу, в которой каждому слову из нашего массива постов присваивается уникальное число. Максимальное число в моем слу чае — 15000.

Сохраним таблицу токенайзера в файл, чтобы пользоваться ей в даль нейшем:

with open('tokenizer.pickle', 'wb') as hand:

pickle.dump(tokenizer, hand, protocol=pickle.HIGHEST_PROTOCOL)

А теперь преобразуем наш массив постов в массив чисел в соответствии с таблицей токенайзера:

sequences = tokenizer.texts_to_sequences(string_list)

Тут я бы хотел отметить, что мы прочитали не все посты из файла, а только те, которые нам понадобятся для обучения нейронной сети. Давай прочитаем оставшиеся 3000 постов, которые будут использоваться для проверки работоспособности нашей нейросети, и также преобразуем их в массивы чисел.

string_list_test = []

mark_list_test = []

for i in range(3000):

s = handle.readline()

s = handle.readline()

string_list_test.append(s)

s = handle.readline()

l = int(s)

if l > 0:

mark_list_test.append(1)

else:

mark_list_test.append(0)

sequences_test = tokenizer.texts_to_sequences(string_list_test)

Далее наши массивы надо привести к формату, удобному для понимания нейронной сетью. Это значит, что число слов в каждом посте должно быть одинаковым. Зададим его равным 400. Если в каком нибудь посте будет меньше слов, то оставшиеся числа заполнятся нулями:

x_train = sequence.pad_sequences(sequences, maxlen=400)

x_test = sequence.pad_sequences(sequences_test, maxlen=400)

На данный момент все подготовительные мероприятия завершены, и мы можем синтезировать нейронную сеть.

print('Build model...')

model = Sequential()

#We start off with an efficient embedding layer which maps

#our vocab indices into embedding_dims dimensions model.add(Embedding(20000,

50,

input_length=400))

model.add(Dropout(0.2))

#We add a Convolution1D, which will learn filters

#word group filters of size filter_length: model.add(Conv1D(250,

3,

padding='valid',

activation='relu',

strides=1))

#We use max pooling: model.add(GlobalMaxPooling1D())

#We add a vanilla hidden layer: model.add(Dense(250)) model.add(Dropout(0.2)) model.add(Activation('relu'))

#We project onto a single unit output layer, and squash it with a sigmoid:

model.add(Dense(1)) model.add(Activation('sigmoid'))

Этот код я полностью взял из примера и заменил лишь размерности данных. Давай скомпилируем нашу нейронную сеть.

model.compile(loss='binary_crossentropy',

optimizer='adam',

metrics=['accuracy'])

А теперь напишем код, который запустит тренировку сети и сохранит резуль тат в файл, чтобы он не потерялся.

model.fit(x_train, mark_list, batch_size=32, epochs=15, valida

tion_data=(x_test, mark_list_test))

model.save("vkbase.h5")

Чтобы начать обучение, нужно запустить наш скрипт на исполнение из кон соли. В терминале должна появиться бегущая строка.

14784/20000	........[=====================>	] ETA: 8s loss: 0.5232
acc: 0.7835

Процесс может занять до десяти минут, придется подождать. У меня точность обучения составила 62%. Это говорит о том, что в данных была найдена закономерность и сеть можно использовать по назначению. Если бы резуль тат составил 50% или меньше, это значило бы, что закономерностей не най дено и нейронная сеть просто угадывает исход с той же вероятностью.

Давай проверим, как работает наша сеть.

network = load_model("vkbase.h5")

strin = ["А ты знаешь, мне сегодня грустно. Люди разучились быть

людьми, В этом мире стало слишком пусто... Слов не надо... Просто

обними... Наталия Коденцова"]

#loading tokenizer

with open('tokenizer.pickle', 'rb') as handle:

tokenizer = pickle.load(handle)

seq = tokenizer.texts_to_sequences(strin)

x_seq = sequence.pad_sequences(seq, maxlen=400)

prediction = network.predict(np.array(x_seq), verbose=1)

print(prediction)

Этот скрипт показывает, с какой вероятностью данная цитата получит лайк. Им мы и будем пользоваться в дальнейшем.

ВНЕДРЯЕМ НЕЙРОННУЮ СЕТЬ НА PYTHON В ПРОЕКТ НА С++

Наша нейронная сеть обучена и готова к использованию. Теперь нам надо внедрить ее в проект на С++ на платформе Qt5, который будет постить отоб ранные посты в ВК.

#include "/usr/include/python2.7/Python.h"

Py_Initialize();

PyObject *moduleMainString = PyString_FromString("__main__");

PyObject *moduleMain = PyImport_Import(moduleMainString);

PyRun_SimpleString(

"import pickle\n"

"import numpy as np\n"

"from keras.preprocessing.text import Tokenizer\n"

"from keras.preprocessing import sequence\n"

"from keras.models	import Sequential, load_model	\n"
"def neuron(text):		\n"

"network = load_model(\"/home/alex/Projects/vkbase/vkbase.h5\"

)

\n"

"strin = [text]\n"

"

#loading tokenizer

\n"

"with open(\"/home/alex/Projects/vkbase/tokenizer.pickle\", \"

rb\") as handle:			\n"
"	tokenizer = pickle.load(handle)			\n"
"	seq =	tokenizer.texts_to_sequences(strin)		\n"
"	x_seq	= sequence.pad_sequences(seq, maxlen=400)		\n"

"prediction = network.predict(np.array(x_seq), verbose=1) \n"

"	return prediction	\n"
);

Тебе нужно только прописать свои пути к файлам vkbase.h5 и tokenizer. pickle.

Скрипт, который мы внедрили в проект, — функция под названием neuron, которая принимает параметр text и возвращает вероятность в виде числа prediction. Опишем доступ к нашей функции и аргумент, который мы будем в нее отдавать.

PyObject *func = PyObject_GetAttrString(moduleMain, "neuron");

char [] cit = "Hello!";

PyObject *args = PyTuple_Pack(1, PyString_FromString(cit));

Здесь переменная cit — это пост, который надо проверить. Теперь вызовем нашу функцию с постом в качестве аргумента и получим результат.

PyObject *result = PyObject_CallObject(func, args);

double koef = PyFloat_AsDouble(result);

Переменная koef и есть наш результат, вероятность того, что пост получит лайки. Теперь мы можем проверить его: если он больше 0.5, мы можем раз мещать пост в сети, если меньше — лучше взять другой.

Таким образом мы можем реализовать автопостинг: завести таймер (нап ример, на один час), по его срабатыванию брать пост из банка постов, про верять на пригодность с помощью нейронной сети и публиковать в случае успеха.

ВЫВОДЫ

После внедрения описанного проекта в реальной группе ВК я увидел резуль тат довольно скоро. Количество лайков не сильно изменилось, но количество подписчиков продолжает расти, так что этот проект оказался не только инте ресным, но и полезным. Надеюсь, не для меня одного :)