Оказывается, «big data» это не только большие хранилища данных с кучами баз данных, в которых концентрируется нескончаемый поток информации. «Big data» - набор инструментов, который позволяет «выжать практическую ценность из имеющихся данных». По сути, это инструментарий, который позволяет автоматизировать умственный труд.
Для чего? Для того, чтобы быстро и эффективно ответить себе на один простой вопрос – как наилучшим образом управлять бизнес или технологическими процессами, конечно если мы говорим про сферу бизнеса. Управленческое решение принимается либо на основании прогноза, либо на основании расчетных оптимальных целей по управляемым параметрам.
Как на практике это реализовать? Как спрогнозировать или найти оптимальные цели по управляемым параметрам? Как это реализуется сейчас без автоматизации?
Все начинается со сбора данных. Мы наблюдаем, запоминаем, ищем связь между данными, используем её для того, чтобы достичь желаемое. Но наше сознание и память ограничены. Мы не можем объять всего. Мы не можем найти все взаимосвязи в целом. Мы лишь выхватываем «кусочек бытия», осмысливаем его, делаем выводы и считаем, что это истина в последней инстанции и… делаем очень много ошибок. В окончании делаем ставку на экспертов, которые всю жизнь занимаются одним и тем же и… естественно нарабатывают более емкое понимание своей сферы деятельности. Содержание таких экспертов обходится очень дорого. Здесь не только затраты на обучение. В большей степени это большие финансовые потери, которые несет бизнес в результате проб и ошибок, возникающих при обучении. С такой ситуацией приходиться мириться, но до тех пока не найдут более дешевую альтернативу. И она появилась – это «big data» – убийца традиционных производственных экспертов.
С развитием автоматизации работы с данными появилась возможность охватывать несоизмеримо больший объем информации, несоизмеримо большие возможности по поиску взаимосвязей внутри информационного потока, в сравнении с экспертными возможностями человека. Автоматизация работы с данными несоизмеримо расширяет наше сознание и память, что позволяет видеть не «кусочек бытия», а значительно больше и в соответствии с этим принимать лучшее управленческое решение. «Big data» выводит аналитическую деятельность на совершенно другой уровень, в сравнении с возможностями узкоспециализированных экспертов. «Big datа» позволять видеть процесс в целом.
Итак, основные методы и инструменты «big data» в моем понимании:
- Автоматизированный сбор данных: оцифровка и хранение – датчики с АЦП, АРМ, ORACLE…
- Автоматизированное считывание данных их хранилищ – SQL…
- Автоматизированная классификация данных, в том числе распознавание образов – OLAP…
- Автоматизированная подготовка данных: нормализация для цифрового моделирования – OLAP…
- Автоматизированный поиск взаимосвязей: получение цифровых моделей – регрессии, дерево решений, фаззи-логика, нейросети….
- Автоматизированный поиск оптимальных целей – симплекс метод, нелинейные методы оптимизации…
- Автоматизированное прогнозирование – алгоритмические методы…
Реализация этих методов и инструментов на практике возможна разными способами.
Можно найти головастого аналитика, обучить его всем этим направлениям автоматизированного анализа, потратить на это 1.5-2 года, обеспечить необходимым инструментарием и запустить в бизнес. Прикрепить его к узким экспертам, чтобы он повысил эффективность их деятельности. Ничего хорошего из этой идеи не выйдет, максимум повысится скорость проверки гипотез узкоспециализированных экспертов. Но в рамках их локальной зоны ответственности.
Узкоспециализированность анализа ограничивает их в поиске наилучшего решения. Другое дело если мы начинаем обучать локально ориентированных бизнес - специалистов «big data», способных посмотреть на процесс шире. Автоматизация их труда позволит им расширять зону поиска, зону анализа. Рано или поздно такой бизнес - специалист научится видеть процесс в целом, быстро и эффективно находить наилучшее управленческое решение. Почему это сработает? Он сам сделал анализ, он в него верит и в соответствии с этим действует. Единственная проблема этого направления – длительные сроки обучения «big data», которая, впрочем, же решается с помощью современного «IT» инструментария: на рынке появляются максимально автоматизированные инструменты «big data» от Microsoft, SAP, IBM… все в одном. |