Big Data — новый ресурс человечества

Сегодняшняя тема нашего дискуссионного клуба «Технологии и будущее» посвящена «большим данным». Участники дискуссии  попытались ответить — что такое Big Data, чем ограничены возможности анализа на основе «больших данных» и действительно ли Big Data понимает нас лучше, чем близкие. Помогала ребятам в этой сложной теме наш постоянный эксперт и Автор Портала Виктория Агранович.

Big Data, как новая нефть

Эпоха больших данных ставит под вопрос наш образ жизни и способ взаимодействия с миром. Поразительнее всего то, что обществу придется отказаться от понимания причинности в пользу простых корреляций: променять знание почему, на что именно.

Виктор Майер – Шенбергер

Что такое Big Data

Термин «большие данные» был предложен Клиффордом Линчем в 2008 году. Именно он первым заговорил о взрывном росте объемов информации в мире. К большим данным, в концепции Линча, «относились любые массивы неоднородных данных более 150 Гб в сутки». Однако единого критерия для определения «больших данных» до сих пор не существует.

В 2014 году популярность сервиса Big Data начала заметно увеличиваться. К его использованию прибегли ведущие мировые вузы. В особенности те специальности, на которых обучались на факультетах с прикладной инженерией и IT-специальности. Немного позднее к университетам стали присоединяться IT – корпорации. Такие как Microsoft, IBM, Oracle, EMC, а затем и Google, Apple, Facebook и Amazon.

Использование технологии Big Data

Большие данные, прежде всего, используют для того, чтобы анализировать, делать прогнозы, принимать оптимальные решения. Технология Big Data позволяет моделировать предметы, явления и процессы и затем тестировать модели.

В распоряжении ФБР и ЦРУ с 2007 года появилась платформа — сервис PRISM. На сегодня она является одним из самых значимых сервисов. Эта платформа способна собирать персональные данные, которые обычные пользователи заносят в свой аккаунт в социальных сетях. Включая Microsoft, Google, Apple, Yahoo, а также записи телефонных разговоров.

Big Data и облачные хранилища

Технологический прогресс позволяет обращаться и обеспечивать мгновенный доступ к массивам. Помимо физических серверов для хранения Big Data используют облачные хранилища, «озера данных», или data lake — хранилища большого объема неструктурированных данных из одного источника. А также Hadoop — фреймворк, состоящий из набора утилит для разработки и выполнения программ распределенных вычислений.

Благодаря внедрению новых высокоэффективных технологий — таких, как грид-вычисления или аналитика в оперативной памяти, компании используют произвольные объемы больших данных для анализа

Применяются большие данные для решение различных задач с области аналитики, где также применяется искусственный интеллект.

Большие данные и выявление закономерностей

 Статистика в изоляции годна лишь на то, чтобы отыскивать тенденции и корреляции, наблюдавшиеся в прошлом, исходя из предположения, что они сохранятся и дальше.

Эмануэль Дерман – специалист по количественному финансовому анализу.

Возможности Big Data действительно ограничены. Они могут позволить, например, позволить выявить корреляцию между курением и раком легких. Но важна не просто корреляция сама по себе. Важно выявление причинно – следственных связей. 

Чтобы действительно понять, какая связь существует между раком легких и курением, нужно проводить многочисленные эксперименты. А так же понимать, что такое процесс возобновления ДНК, какие существуют канцерогенные вещества и как они связаны с веществами – онкогенами. 

 Мы можем убедиться на этом примере в том, что использование больших данных не объяснит нам, каким образом курение связано с раком легких. Но, благодаря использованию Big Data, мы понимаем, что курящие болеют чаще и можем использовать этот факт в профилактической работе. 

Способы анализа больших данных

Выделяют четыре основных метода анализа Big Data:

Описательный анализ

Наиболее распространенным является описательный анализ, или описательная аналитика. Она отвечает на вопрос «Что произошло?». А также анализирует исторические и оперативные данные. Основная цель метода — выяснить причины и закономерности успеха или неудачи в заданной области. Для того, чтобы впоследствии использовать эти данные для наиболее эффективных моделей. Основные математические функции используются для описательного анализа. Типичным примером являются данные социологических исследований или веб-статистика, которые компания получает через Google Analytics.

 Predictive или прогнозирующий анализ 

Этот метод помогает предсказать наиболее вероятный ход событий на основе имеющихся данных. При этом используются готовые модели на основе любого предмета или явления с аналогичным набором характеристик. С помощью предиктивного анализа можно, например, рассчитать обвал или изменение цены на фондовом рынке. Или оценить способность потенциального заемщика погасить кредит.

Предписывающая аналитика

Это следующий уровень предиктивной аналитики. С помощью больших данных и современных технологий можно выявить болевые точки в бизнесе или любой другой деятельности и просчитать, при каком сценарии их можно избежать в будущем.

Aurora Health Care ежегодно экономит 6 миллионов долларов за счет предписывающей аналитики. Этот метод анализа позволяет компании сокращать повторные госпитализации на 10%.

Или пример авиакомпании American Airlines, которая сэкономила около 40 тысяч долларов в год, убрав из меню для пассажиров первого класса один дополняющий продукт – оливки.

Big Data понимает вас лучше, чем ваши близкие

 Этот факт подтверждает история с несовершеннолетней беременной. Однажды сеть Target начала присылать несовершеннолетней беременной девушке купоны на товары для беременных. Отец девушки не знал, что она беременна. Он даже обвинил сеть в том, что она побуждает школьниц к рождению детей. Вот уж точно Big Data знает вас лучше, чем ваши близкие!

Не все закономерности, которые можно выявить при помощи Big Data, оригинальны и неочевидны. Например, в результате анализа поведения посетителей торговых центров, была выявлена корреляция между посещением магазинов Big Saiz и ресторанов Burger KING.

Технологии Big Data позволяют дифференцировать целевую аудиторию компании. Таким образом компания «Аэрофлот» выяснила неожиданную информацию о своих клиентах. Оказалось, что из 32 миллионов человек, которые ежегодно пользуются услугами компании, только 10 миллионов пассажиров являются уникальными. А половину выручки обеспечивает один миллион двести тысяч человек. Это помогло авиакомпании существенно сэкономить бюджет на рекламу. А также сделать выгодные предложения ядру своей целевой аудитории.