Обработка больших наборов данных

Научиться понимать, что такое большие данные, какие задачи они порождают и какими способами их обрабатывают.

Большие данные окружают нас повсюду: от лент новостей до медицинских исследований. Понимание принципов их обработки помогает осознанно пользоваться цифровыми сервисами и видеть, как технологии решают задачи, невозможные для человека вручную.

• Большие данные — это наборы информации, которые настолько велики и сложны, что традиционные программы не могут их обработать за приемлемое время.
• Основные характеристики больших данных: объём, скорость поступления и многообразие форматов.
• Обработка больших данных требует специальных методов и технологий, таких как распределённые вычисления.
• Пакетная обработка подходит для анализа уже накопленных данных, а потоковая — для данных, поступающих непрерывно.
• Распределённые вычисления позволяют разбить большую задачу на части и решать их одновременно на множестве компьютеров.
• Для хранения больших данных используются специальные хранилища, которые могут масштабироваться на тысячи серверов.
• Анализ больших данных позволяет находить закономерности, которые невозможно увидеть в небольших выборках.

Большие данные

Это наборы информации, которые настолько велики, что их сложно обработать обычными способами. Например, все сообщения в соцсетях за день.

Объём данных

Количество информации, которое нужно хранить и обрабатывать. Измеряется в терабайтах, петабайтах и больше.

Скорость обработки

Как быстро данные поступают и как быстро их нужно обрабатывать. Например, данные с датчиков могут приходить каждую секунду.

Многообразие данных

Данные бывают разными: тексты, числа, картинки, видео. Их нужно уметь обрабатывать вместе.

Распределённые вычисления

Способ обработки, при котором задача делится на части, и каждая часть решается на отдельном компьютере, а потом результаты объединяются.

Потоковая обработка

Обработка данных в реальном времени, когда данные обрабатываются сразу, как только появляются. Например, анализ ленты новостей.

Пакетная обработка

Обработка больших объёмов данных, которые уже накоплены, за один запуск программы. Например, расчёт годового отчёта.

• Большие данные характеризуются тремя V: Volume (объём), Velocity (скорость), Variety (многообразие). Иногда добавляют Veracity (достоверность) и Value (ценность).
• Для обработки больших данных используют кластеры — группы компьютеров, работающих вместе. Например, Hadoop — популярная платформа для распределённой обработки.
• Параллельные вычисления — это когда одна задача выполняется одновременно на нескольких процессорах или ядрах, что ускоряет работу.
• Потоковая обработка используется в системах, где данные поступают непрерывно, например, в финансовых транзакциях или мониторинге погоды.
• Хранилища больших данных могут быть распределёнными: данные хранятся на множестве серверов, и это позволяет не терять информацию при сбое одного из них.
• Анализ больших данных помогает в медицине (поиск закономерностей в симптомах), в транспорте (оптимизация маршрутов) и в науке (обработка данных телескопов).

1. Пример 1случай
   • Когда вы ищете товар в интернет-магазине, система анализирует миллионы покупок других людей, чтобы предложить вам похожие товары — это обработка больших данных
2. Пример 2случай
   • Сервисы погоды собирают данные с тысяч датчиков и спутников, обрабатывают их и выдают прогноз — это потоковая обработка
3. Пример 3случай
   • Банки анализируют транзакции клиентов в реальном времени, чтобы предотвратить мошенничество — это потоковая обработка больших данных
4. Пример 4случай

   Учёные обрабатывают данные ДНК, чтобы найти гены, связанные с болезнями,

   Пояснение

   • это пакетная обработка огромных массивов информации

• Каждую минуту в интернете загружается более 500 часов видео на YouTube — это пример скорости поступления больших данных.
• Телескопы, такие как Hubble, генерируют десятки гигабайт данных каждый день, и их обработка требует распределённых вычислений.
• Компания Google использует большие данные для прогнозирования эпидемий гриппа, анализируя поисковые запросы пользователей.

• Базы данных
• Информационные процессы
• Компьютерные сети
• Моделирование и формализация