ETL-процессы: задачи и структура

О чем речь? ETL-процессы – подход в управлении данными, который следует четкому алгоритму: извлечение (Extract), преобразование (Transform), загрузка (Load). Таким образом специалист сначала получает информацию, работает с ней и загружает в систему для дальнейших операций.

На что обратить внимание? ETL-процессы используются в бизнес-аналитике, например, для сбора и анализа маркетинговых данных, хранящихся в разных местах. Есть у подхода свои проблемы: разные форматы информации, низкое ее качество и негибкая система, под которые нужно подстраиваться.

ETL (с англ. Extract, Transform, Load можно перевести как «извлечение, преобразование, загрузка») представляет собой процесс управления информацией, состоящий из трех этапов. На первой стадии данные извлекаются из структурированных и неструктурированных источников, после этого они трансформируются в требуемый формат и загружаются в место назначения.

Рассмотрим принцип работы ETL на примере обычного магазина. Допустим, что перед продавцом стоит задача взять изделие, завернуть его в привлекательную упаковку и отдать покупателю. На языке ETL-процессов это выглядело бы следующим образом. Продавец извлекает товар из первоначального источника – с полки в магазине. После этого он выполняет преобразование, упаковывая изделие в подарочную бумагу. Затем продавец «загружает» продукт в пакет покупателя.

Примерно так же работают инструменты ETL. Они собирают данные из различных систем (извлечение), объединяют её с другими источниками (преобразование) и сохраняют (загружают) для последующего анализа.

К примеру, программа способна консолидировать информацию о клиенте фитнес-клуба. При этом если в отделе продаж данные вносились через одну CRM‑систему, а при онлайн‑покупке клиенты проходили регистрацию через другую, то с помощью ETL компания может извлечь данные из обеих платформ и трансформировать их в единую таблицу.

ETL позволяет упростить задачи, связанные с обработкой информации. Система дает возможность объединить сведения из разных источников и решить проблему переноса необработанных и распределенных данных в единый репозиторий.

Перечислим несколько основных сфер применения ETL:

Извлечение и копирование из пула источников (к примеру, баз данных SQL и NoSQL платформ ERP и CRM, приложений SaaS) является самым первым этапом перемещения любой информации. Из-за специфики работы с некоторыми системами-источниками эта стадия зачастую является очень сложной.

Существует три вида извлечения информации:

С одной стороны, пользователю необходимо заранее определить, какие элементы данных требуется извлечь для дальнейшего преобразования и загрузки. Однако с помощью ELT-процессов информация извлекается мгновенно. Таким образом, пользователь может отложить вопрос выбора объектов для преобразования и анализа.

Эта составляющая ETL-процесса представляет собой последовательность действий, которые нацелены на подготовку информации для изменения под характеристики другой системы или выполнения иных задач.

Трансформирование может состоять из следующих операций:

Каждое из вышеперечисленных действий осуществляется вне целевой системы, во время подготовки. Реализация этих операций выполняется дата-инженерами.

К примеру, в хранилище Online Analytical Processing (OLAP) можно размещать только реляционные структуры информации. Из-за этого данные необходимо предварительно трансформировать в SQL-читаемый формат. Каждое преобразование может выполняться только один раз. Из-за этого ETL является негибким процессом. Если требуется применить к уже трансформированной информации новый тип анализа, специалисту может понадобится заново модифицировать весь конвейер данных.

Информация загружается в целевую систему хранения. Это позволяет другим пользователям получать доступ к данным. При этом поток ETL-процесса включает в себя импорт информации (которая была заранее подготовлена и извлечена) из промежуточной БД в целевое хранилище данных или базу данных.

Для этого выполняются физические вставки определенных записей в виде новых строк таблицы хранилище. При этом используются SQL-команды или сценарий пакетной загрузки большого массива данных.

Настройка ETL-процесса состоит из 5 базовых этапов.

Предположим, что в компании необходимо создать систему материальных поощрений для менеджеров. Чтобы это сделать, потребуется выполнить анализ информации, связанной с объемами продаж и поощрений. Компания может поставить перед специалистом задачу настройки процесса сбора и отправки нужных записей в аналитическое хранилище.

Следовательно, дата-инженеру необходимо учесть следующие параметры:

Допустим, что сведения о продажах размещены в 1С, информация о работниках компании – в Гугл-таблицах, а акции и скидки – в базе данных. Каждая система имеет свои требования к доступу. При этом у каждого из этих источников есть свои ответственные лица, которые могут открывать и закрывать доступ для других пользователей.

Специалисту потребуется:

Специалисту необходимо выполнить анализ полученных данных и понять, какие из них следует оставить, а какие убрать. К примеру, в таблицах могут находиться текстовые аккаунты менеджеров, которые не нужны для выполнения задачи. Специалист получает часть данных и изучает ее.

Если информацию нужно предобработать, то это необходимо учесть в процессе написания кода.

Когда специалист разобрался с тем, какие именно требуются сведения, где их найти и каким образом обработать, он должен написать код, который затем станет ETL-пайплайном (ETL-процессом).

Инженеру данных необходимо протестировать код. При проверке он должен получить следующие результаты:

Существуют инструменты, с помощью которых можно в автоматическом режиме запускать ETL-процесс. К примеру, Apache Airflow или PySpark. Эти фреймворки исполняют код. Пользователь может отслеживать ход работы в интерфейсе или логах.

ETL-пайплайн представляет собой список задач, которые выполняются в заранее установленной последовательности. Яркий пример – батчевый процесс в Apache Airflow, где информация берется частями, а затем запускается процесс по определенному расписанию.

Стоит учесть, что при работе на распределенных системах специалист может разработать ETL-процесс таким образом, чтобы задачи выполнялись параллельно.

Есть разные способы исполнения кода: в режиме-онлайн или по определенному расписанию (к примеру, каждые 2 дня в 14:00 будет запускаться обработка сведений, полученных за прошедшие двое суток).

Существует множество инструментов для работы с ETL-процессами. При их выборе необходимо учитывать задачи, стоящие перед компанией, объем обрабатываемой информации и метод их использования. Перечислим самые часто встречаемые проблемы, которые возникают при настройке процесса ETL.

В некоторых случаях компании иногда нужно работать с большим количеством источников и разными форматами данных. Например, с полностью и частично структурированной информацией, потоковыми данными в онлайн-режиме, плоскими файлами.

Одни источники лучше конвертировать в batch-режиме, другие требуют настройки потоковой трансформации данных. Чтобы подобрать оптимальный формат обработки для каждого типа информации, специалист должен хорошо разбираться в этой теме.

Чтобы проанализировать данные, их нужно заранее преобразовать. При этом трансформация должна быть выполнена с максимальной точностью и в полном объеме. Если делать все вручную, то информация может быть утеряна. Кроме того, нередко возникают ошибки, связанные с дублированием данных. Однако существуют специализированные инструменты для работы с ETL, с помощью которых можно автоматизировать задачи и исключить «человеческий фактор».

Функция мониторинга позволит выявить различные проблемы. К примеру, если в систему попали данные, которые с ней несовместимы. Контроль качества также помогает выявлять дубликаты.

По мере роста организации объем информации, который она использует, будет становиться все больше. На данный момент компания может без особых проблем применять локальную БД и пакетную загрузку, однако через несколько лет этого будет недостаточно. ETL имеют неограниченные возможности масштабирования процессов и объема.

При принятии решения с использованием полученной информации компании может потребоваться в кротчайшие сроки подключить облачное хранилище. Это позволит организации оперативно обрабатывать большие объемы данных без существенных финансовых потерь.

ETL получил широкое распространение в 70-х годах. В том время организации начали работать с несколькими репозиториями и базами данных, что потребовало эффективной интеграции всей этой информации.

Можно выделить несколько распространенных коммерческих решений:

ETL-процессами занимаются бизнес- и дата-аналитики. Эти специалисты работают с бизнес-логикой и данными, поэтому им нередко приходится сталкиваться с разнородной информацией.

Знание ETL-процессов также может потребоваться разработчикам для реализации некоторых проектов.

Дата-инженеры выполняют проектирование, поддержку и оркестрацию (координирование работы сложных систем) платформ, предназначенных для хранения данных.

Для работы с ETL-процессами специалисту нужно хорошо знать теорию. Необходимо прочесть специальную литературу, изучить туториалы. Кроме того, рекомендуется пройти профессиональные курсы.