Под зонтиком IT
публикация - 2024-06-21 / cоздание - 2017-11-11 - из архива
Интересное слово «корреляция»
В свое время, лет 20 назад, один незаурядный человек сказал, что, когда наши инженеры в основной своей массе начнут понимать, что такое «корреляция», и начнут её использовать на практике, наступит новая эпоха в развитии производства. И похоже она наступает…
20 лет назад было совершенно другое время. Не было ни таких мощных компьютеров как сейчас, ни всевозможных относительно дешевых датчиков и средств хранения информации. Работой с большими массивами данных, с big data – в основном занимались яйцеголовые специалисты с ученой степенью. Тогда всё делалось вручную. Измерение, обработка данных, поиск зависимостей … всё делалось вручную. Не за 1 день как сейчас, а за один год. И то, если хватало терпения. Эти люди занимались статистическим анализом, который в последствии стал теоретической базой для big data.
В статистическом анализе есть такое базовое понятие как «корреляция». Она характеризует степень взаимосвязи между параметрами. Если суть анализа - поиск зависимости одного параметра от другого, то корреляция – это оценка этой зависимости.
Чем ближе корреляция, если быть точнее - коэффициент корреляции R, к 1 или -1, тем выше степень взаимосвязи между рассматриваемыми параметрами. Чем ближе корреляция к 0, тем хуже взаимосвязь. Когда говорят, мы нашли корреляцию, подразумевают, что нашли взаимосвязанные параметры. Фраза - «мы нашли корреляцию» - не совсем правильно звучит, но именно так корреляция начинает входить в наш обиход. Когда мы говорим, что это событие коррелирует на вот такое событие, подразумевают между ними связь. Другое дело «случайная ли это связь», «насколько она сильная», «какой параметр является причиной, а какой следствием», многие упускают это из зоны внимания и… часто попадают в ловушку, связанную с некорректной гипотезой: нашли корреляцию и считаем, что это истина.
Но она может оказаться случайной. На практике необходимо проверить эту корреляцию на случайность, на причинно - следственную связь, на устойчивость по времени… К счастью, big data решает все эти задачи в автоматизированном режиме. Не в автоматическом, в автоматизированном, т.е. с участием человека. Если представить образ автоматизированного поиска корреляций, то он выглядит следующим образом. Используя инструментарий big data, вы довольно легко подключаетесь к источникам исходных данных, строите информационную модель, в ходе которой настраиваете предварительную подготовку данных, определяете метод поиска корреляций, или по-другому цифровых моделей, определяетесь с входными и выходными данными… нажимаете на кнопку и запускаете на расчет.
Компьютер перемолотит все исходные данные на предмет интересующих вас корреляций, или связей. Далее на практике найденные корреляции проверяются на случайность и устойчивость. Если она оказывается таковой, то вы начинаете ей верить и строить исходя их неё управленческие решения. Прорывное ускорение интеллектуального труда.
Вопрос «Чем характеризуется интеллект рационального человека?». Один из ответов: «Способностью быстро находить устойчивые связи между событиями и принимать на основании этого какие-то решения». «Быстро» - ключевое слово. Можно за двадцать лет упорной работы найти какую-то связь, а можно за месяц, или неделю, или сутки… с помощью big data… найти устойчивую корреляцию. Инструментов для этого предостаточно. От простого Exсel до навороченных Matcad, Matlab, SPSS… Если человек умный, то глупо не использовать возможности современных информационных технологий. И, пожалуй, начать стоит с поиска корреляций. |