5 трендов в обработке данных

Наверняка вы видели «Желтые страницы» — большой справочник с именами, адресами и телефонами. Однако данные о вашем местонахождении гораздо ценнее номера телефона в справочнике. Дело в том, что «Страницы» содержат данные, которые никак не характеризуют человека: фамилия, имя, отчество, номер телефона. Только лишь полное имя и номер телефона не дают никакой полезной информации для производителей и маркетологов: по ним невозможно понять, что это за человек и что он любит. В то время как часто посещаемые места, любимые заведения, чеки из магазинов характеризуют человека. Это уже персональные данные, которые имеют ценность, если их правильно обработать. Разбираемся, как сбор и обработка персональных данных меняют облачные хранилища, влияют на законодательство и помогают выбрать место для прибыльного кофешопа.

Законы как способ урегулировать использование данных

Инстаграм, Твиттер, Фейсбук, Гугл Хром, карты — мы так часто кликаем «разрешить доступ к данным», что, объединив их, можно составить достаточно точный портрет человека со списком интересов, предпочтений и привычек. Компании, хранящие и обрабатывающие данные, подвергаются давлению со стороны государств, которые в попытках урегулировать сбор и обработку данных постоянно обновляют законы.

Некоторые законы выходят за рамки одной страны. Например, в мае 2018 года в Евросоюзе вступает в силу Генеральный регламент по защите данных (GDPR). Регламент разрешит передачу персональных данных от компании к компании, но запретит их обработку без согласия пользователя. Европейцы смогут узнать у компаний, обработаны ли их персональные данные и с какой целью, а нарушители GDPR выплатят штраф в размере 20 миллионов евро или 4% от дохода компании.

В Intel считают, что законодательство о хранении и обработке персональных данных ужесточилось из-за скандала в связи с их утечкой, но этот скандал — не единственный. В ноябре 2017 года «Убер» признался, что скрыл утечку персональных данных 57 миллионов водителей и пассажиров. GDPR обязывает крупные компании назначить ответственного за хранение и защиту данных и сообщить об утечке данных в течение 72 часов.

В России тоже есть законы о работе с данными. Например, «Пакет Яровой» обязывает мобильных операторов, провайдеров и интернет-ресурсы из реестра организации распространения информации в сети хранить записи звонков, сообщения и интернет-трафик пользователей полгода. Если поступит запрос из ФСБ на данные пользователей, компания обязана их передать.

Блокчейн как защита данных

С увеличением количества данных растет уровень киберпреступности. Компаниям приходится переходить на более надежные и менее уязвимые решения. Например, хранить данные в блокчейне. Это цепочка из последовательных блоков с информацией. Блоки, как правило, хранятся на разных компьютерах, а информация записана хешами. Взламывать блокчейн сложно, долго и дорого, поэтому хранить данные в блокчейне безопаснее, чем в облаках.

Правительство Эстонии вводит технологию блокчейна Keyless Signature Infrastructure (KSI) для защиты государственных данных, хранения данных госучреждений и даже медицинских карточек эстонских пациентов. Правительство Швеции использует блокчейн для сделок с недвижимостью, а правительство Грузии тестирует технологию для передачи и приобретения титулов на собственность.

Блокчейн обеспечивает прозрачность транзакций и помогает избежать незаконных сделок. Каждый участник сделки может отследить действия партнеров и время события. Британский банк Santander использует это преимущество для транзакций, а Павел Дуров разрабатывает собственную платежную систему на базе мессенджера.

Интернет вещей как источник данных

Мы используем гаджеты в быту, чтобы выключать свет в соседней комнате, распознавать болезни и делать дом безопаснее. Гаджеты даже в состоянии покоя собирают столько данных, что их становится достаточно для понимания потребностей потребителей, для маркетинга и выпуска новых продуктов.

Объемы собранных данных постоянно растут. Чтобы обработать и проанализировать такое количество информации, нужны новые решения. В 2017 году Гугл выпустил решение Cloud IoT для управления и анализа данных интернета вещей. Оно собирает данные с каждого гаджета и переносит их в облако. Это помогает компании управлять устройствами интернета вещей и упрощает обработку данных.

Анализ данных как инструмент маркетинга

Одна из причин сбора данных — это их дальнейший анализ. Цели анализа могут быть совершенно различные: получение четкой картины того, что происходит сейчас, анализ необходимости изменений и прогноз результата этих изменений.

General Electric размещает на своих турбинах и двигателях датчики, которые собирают информацию об их работе. Аналитики собирают эти данные, изучают и придумывают, как улучшить продукт. В отличие от понятной транзакционной информации, данные с датчиков искажаются и требуют особого способа обработки. Это увеличило спрос на разработку инструментов анализа таких данных.

Для прогнозирования необходимы большие данные, которыми, как правило, обладают крупные компании. Например, IBM Watson Health использует большие данные для предсказания вспышек малярии. Компания исследует климат, температуру, поведение животных и сопоставляет все это с данными о болезни.

Растет спрос на аналитику и прогнозирование в маркетинге. Данные потребителя необходимы компаниям для выведения на рынок новых продуктов, открытия прибыльных торговых точек, введения более интересного контента. Знаменитая кофейня Starbucks использует большие данные, чтобы выбирать прибыльные места для новых кофеен. Она собирает данные о том, какой напиток вы покупаете, когда и где, после чего анализирует их. Если компания считает, что место принесет много прибыли, то может открыть на нём несколько торговых точек.

Однако не стоит зацикливаться на больших данных. Больше — не значит лучше. Иногда данных слишком много, поэтому их сложнее проанализировать, чтобы добиться результата — например, создать прибыльное коммерческое предложение. Но если разделить эти данные по нескольким параметрам, анализ идет быстрее. Данные, разделенные на группы по свойствам или параметрам, называют малыми. Они нужны для того, чтобы предлагать более эффективные решения для отдельных бизнес-процессов. Например, в маркетинге они помогут нарисовать портрет покупателя.

ИИ как помощник в облачной среде

По данным исследования Dresner Advisory Services, в 2017 году 53% компаний использовали и анализировали большие данные. Для сравнения, в 2015 году таких компаний было только 17%. В связи с ростом количества данных некоторые процессы уже не справляются с их обработкой. Определенные бизнес-задачи требуют анализа данных в реальном времени. В связи с этими потребностями активно развивается автоматизация процессов и создание искусственного интеллекта. Особое развитие получает технология потоковой обработки данных. Все эти процессы вместе обрабатывают и анализируют данные в разы быстрее, информацию можно получить в любой момент в режиме реального времени.

Внушительно растет объем взаимодействия человека и искусственного интеллекта. Мы видим программы, которые принимают решения в некоторых бизнес-процессах автоматически, программы, которые без вмешательства человека распознают и анализируют голос, обрабатывают видеоданные, изображения и тексты: Real Speaker, Office Lens, Free OCR.

Сравнивая размеры рынков, компания IBM пришла к выводу, что будущее стоит за облаком и искусственным интеллектом. По прогнозам Statista, к 2020 году рынок искусственного интеллекта во всем мире составит 10,5 миллиарда долларов и к 2025 году увеличится в пять раз.

Гугл уже разработал услуги с использованием искусственного интеллекта для облачных вычислений — Cloud Machine. Искусственный интеллект Гугла учится на своих ошибках, чтобы выдавать более точные результаты. С помощью Cloud Machine можно создать умного бота для общения с клиентами, анализировать видео, изображения и текст и синтезировать речь.

Компания IBM Watson разработала умное облачное хранилище. Программа настроена так, что опыт работы «Ватсона» будет помогать ему оттачивать свои навыки и работать в определенной области.

***

С развитием технологий увеличивается объем собранных данных и растет потребность в решениях для сбора, безопасного хранения и анализа. Понимание трендов важно для всех сторон рынка. Зная боли и запросы потребителей, разработчики смогут создать востребованный продукт. Разбираясь в новых технологиях, пользователи смогут вовремя внедрить новые бизнес-решения для изучения покупателей, анализа потребностей и защиты их данных.