Эффективное ERP/MES/АСУТП
публикация - 2018-04-20 cоздание - 2017-03-13
Big data: интересное слово «корреляция»
В свое время, лет 20 назад, один незаурядный человек сказал, что когда наши инженеры в основной своей массе начнут понимать, что такое «корреляция», и начнут её использовать на практике, наступит новая эпоха в развитии производства. И похоже она наступает…
20 лет назад было совершенно другое время. Не было ни таких мощных компьютеров как сейчас, ни всевозможных относительно дешевых датчиков и средств хранения информации. Работой с большими массивами данных, с big data – в основном занимались яйцеголовые специалисты с ученой степенью. Тогда всё делалось вручную. Измерение, обработка данных, поиск зависимостей … всё делалось вручную. Не за 1 день как сейчас, а за один год. И то, если хватало терпения. Эти люди занимались статистическим анализом, который в последствии стал теоритической базой для big data.
В статистическом анализе есть такое базовое понятие как «корреляция». Она характеризует степень взаимосвязи между параметрами. Если суть анализа - поиск зависимости одного параметра от другого, то корреляция – это оценка этой зависимости. Чем ближе корреляция (если быть точнее - коэффициент корреляции - R) к 1 или -1, тем выше степень взаимосвязи между рассматриваемыми параметрами. Чем ближе корреляция к 0, тем хуже взаимосвязь. Когда говорят, мы нашли корреляцию, подразумевают, что нашли взаимосвязанные параметры. Фраза - «мы нашли корреляцию» - не совсем правильно звучит, но именно так корреляция начинает входить в наш обиход. Когда мы говорим, что это событие коррелирует на вот такое событие, подразумевают между ними связь. Другое дело «случайная ли это связь», «насколько она сильная», «какой параметр является причиной, а какой следствием», многие упускают это из зоны внимания и… часто попадают в ловушку, связанную с некорректной гипотезой: нашли корреляцию и считаем, что это истина. Но она может оказаться случайной. На практике необходимо проверить эту корреляцию на случайность, на причинно-следственную связь, на устойчивость по времени… К счастью, big data решает все эти задачи в автоматизированном режиме. Не в автоматическом, в автоматизированном, т.е. с участием человека. Если представить образ автоматизированного поиска корреляций, то он выглядит следующим образом. Используя инструментарий big data, вы довольно легко подключаетесь к источникам исходных данных, строите информационную модель, в ходе которой настраиваете предварительную подготовку данных, определяете метод поиска корреляций, или по другому цифровых моделей, определяетесь с входными и выходными данными… нажимаете на кнопку и запускаете на расчет. Компьютер перемолотит все исходные данные на предмет интересующих вас корреляций, или связей. Далее на практике найденные корреляции проверяются на случайность и устойчивость. Если она оказывается таковой, то вы начинаете ей верить и строить исходя их неё управленческие решения. Прорывное ускорение интеллектуального труда.
Вопрос «Чем характеризуется интеллект рационального человека?». Один из ответов: «Способностью быстро находить устойчивые связи между событиями и принимать на основании этого какие-то решения». Быстро ключевое слово. Можно за двадцать лет упорной работы найти какую-то связь, а можно за месяц, или неделю, или сутки… с помощью big data… найти устойчивую корреляцию. Инструментов для этого предостаточно. От простого Exсel до навороченных Matcad, Matlab, SPSS… Если человек умный, то глупо не использовать возможности современных информационных технологий. И пожалуй начать стоит с поиска корреляций.




Читать далее...
Все материалы раздела...
Сайт ssman.ru: люди сильные духом. Количество посещений=50412