- Понятие ETL-процесса
- Структура ETL-процесса
- Извлечение (Extract)
- Преобразование (Transform)
- Загрузка (Load)
- Реализация ETL-процесса
- Определение задачи
- Получение доступа
- Проверка полученных данных (предпроцессинг)
- Написание кода ETL-процесса
- Запуск автоисполнения кода
- Проблемы с ETL-процессами
- Подбор оптимального способа обработки
- Низкокачественные данные
- Плохая масштабируемость
- Часто задаваемые вопросы о ETL-процессах
- Когда начали использоваться ETL-процессы?
- Какие ETL-системы являются самыми популярными?
- Кому приходится работать с ETL-системами?
25 рабочих гипотез для увеличения конверсии на 40%
Скачать материалы
О чем речь? ETL-процессы – подход в управлении данными, который следует четкому алгоритму: извлечение (Extract), преобразование (Transform), загрузка (Load). Таким образом специалист сначала получает информацию, работает с ней и загружает в систему для дальнейших операций.
На что обратить внимание? ETL-процессы используются в бизнес-аналитике, например, для сбора и анализа маркетинговых данных, хранящихся в разных местах. Есть у подхода свои проблемы: разные форматы информации, низкое ее качество и негибкая система, под которые нужно подстраиваться.
Из этого материала вы узнаете:
- Понятие ETL-процесса
- Структура ETL-процесса
- Реализация ETL-процесса
- Проблемы с ETL-процессами
- Часто задаваемые вопросы о ETL-процессах
Понятие ETL-процесса
ETL (с англ. Extract, Transform, Load можно перевести как «извлечение, преобразование, загрузка») представляет собой процесс управления информацией, состоящий из трех этапов. На первой стадии данные извлекаются из структурированных и неструктурированных источников, после этого они трансформируются в требуемый формат и загружаются в место назначения.
Рассмотрим принцип работы ETL на примере обычного магазина. Допустим, что перед продавцом стоит задача взять изделие, завернуть его в привлекательную упаковку и отдать покупателю. На языке ETL-процессов это выглядело бы следующим образом. Продавец извлекает товар из первоначального источника – с полки в магазине. После этого он выполняет преобразование, упаковывая изделие в подарочную бумагу. Затем продавец «загружает» продукт в пакет покупателя.
Примерно так же работают инструменты ETL. Они собирают данные из различных систем (извлечение), объединяют её с другими источниками (преобразование) и сохраняют (загружают) для последующего анализа.
К примеру, программа способна консолидировать информацию о клиенте фитнес-клуба. При этом если в отделе продаж данные вносились через одну CRM‑систему, а при онлайн‑покупке клиенты проходили регистрацию через другую, то с помощью ETL компания может извлечь данные из обеих платформ и трансформировать их в единую таблицу.
ETL позволяет упростить задачи, связанные с обработкой информации. Система дает возможность объединить сведения из разных источников и решить проблему переноса необработанных и распределенных данных в единый репозиторий.
Перечислим несколько основных сфер применения ETL:
- Перемещение и репликация данных. При организации этих процессов очень важна скорость. Чем быстрее предприятие сможет интегрировать данные в новые системы, тем раньше они начнут приносить пользу. Зачастую компании приходится работать с несовместимыми форматами или файлами. Трансформирование информации в ETL-процессах позволяет решить эту проблему.
- Сбор и обработка информации. Предприятия работают с разнообразными источниками данных. Рассмотрим пример использования ETL-процессов в интернет-маркетинге. Предположим, что сведения о продажах и результатах маркетинговых кампаний приходят сразу из двух сервисов. Чтобы их правильно проанализировать, нужно объединить эти данные. С помощью ETL организация может перенести информацию в требуемом формате, который будет удобен для дальнейшего использования.
- Машинное обучение (ML). Озеро данных обычно содержит информацию из целого ряда источников. Однако не вся она может применяться для эффективного обучения алгоритмов. ETL позволяют находить только те сведения, которые действительно помогут процессу ML. При этом данные будут трансформированы в наиболее подходящий формат и затем загружены в озеро или БД.
- Аналитическое хранилище (DWH). Разработка ETL‑процессов играет важнейшую роль в процессе проектирования хранилища. Дело в том, что источников данных может быть очень много, поэтому компании необходимо правильно фильтровать, очищать, объединять, разделять и сортировать информацию.
- Конвейеры данных (Data Pipelines). ETL‑конвейер позволяет подготовить информацию перед аналитикой. Он помогает привести разрозненные данные к определенному стандарту. При этом разработчики освобождаются от целого ряда технических задач. За счет более тщательной предобработки данных ETL‑конвейер повышает эффективность аналитики.
Структура ETL-процесса
Извлечение (Extract)
Извлечение и копирование из пула источников (к примеру, баз данных SQL и NoSQL платформ ERP и CRM, приложений SaaS) является самым первым этапом перемещения любой информации. Из-за специфики работы с некоторыми системами-источниками эта стадия зачастую является очень сложной.
Существует три вида извлечения информации:
- Полное. Этот способ используется в том случае, если система-источник не способна различать новые или измененные записи.
- Частичное с уведомлениями об обновлениях. Является самым удобным методом извлечения информации. Однако его можно использовать лишь в том случае, если в системе есть уведомления об изменениях записей. Именно они позволяют извлекать конкретные данные, без загрузки всей информации.
- Инкрементное извлечение или частичное извлечение без уведомлений об обновлениях. Данный метод позволяет работать только с теми записями, которые подверглись изменению.
С одной стороны, пользователю необходимо заранее определить, какие элементы данных требуется извлечь для дальнейшего преобразования и загрузки. Однако с помощью ELT-процессов информация извлекается мгновенно. Таким образом, пользователь может отложить вопрос выбора объектов для преобразования и анализа.
Преобразование (Transform)
Эта составляющая ETL-процесса представляет собой последовательность действий, которые нацелены на подготовку информации для изменения под характеристики другой системы или выполнения иных задач.
Трансформирование может состоять из следующих операций:
- сортировка и фильтрация информации (позволяет убрать иррелевантные элементы);
- устранение дубликатов и очистка;
- транслирование и преобразование;
- удаление или шифрование (повышает уровень безопасности данных);
- соединение или разделение таблиц и т.д.
Каждое из вышеперечисленных действий осуществляется вне целевой системы, во время подготовки. Реализация этих операций выполняется дата-инженерами.
К примеру, в хранилище Online Analytical Processing (OLAP) можно размещать только реляционные структуры информации. Из-за этого данные необходимо предварительно трансформировать в SQL-читаемый формат. Каждое преобразование может выполняться только один раз. Из-за этого ETL является негибким процессом. Если требуется применить к уже трансформированной информации новый тип анализа, специалисту может понадобится заново модифицировать весь конвейер данных.
Загрузка (Load)
Информация загружается в целевую систему хранения. Это позволяет другим пользователям получать доступ к данным. При этом поток ETL-процесса включает в себя импорт информации (которая была заранее подготовлена и извлечена) из промежуточной БД в целевое хранилище данных или базу данных.
Для этого выполняются физические вставки определенных записей в виде новых строк таблицы хранилище. При этом используются SQL-команды или сценарий пакетной загрузки большого массива данных.
Реализация ETL-процесса
Настройка ETL-процесса состоит из 5 базовых этапов.
Определение задачи
Предположим, что в компании необходимо создать систему материальных поощрений для менеджеров. Чтобы это сделать, потребуется выполнить анализ информации, связанной с объемами продаж и поощрений. Компания может поставить перед специалистом задачу настройки процесса сбора и отправки нужных записей в аналитическое хранилище.
Следовательно, дата-инженеру необходимо учесть следующие параметры:
- Типы систем, которые применяются для хранения данных. К примеру, могут использоваться CRM, базы данных, документы.
- Вид таблицы-приемника, которая будет содержать итоговые данные (каков будет формат и названия колонок).
- Частота обновления данных (1 раз в сутки, раз в несколько часов или в онлайн-режиме).
- Объект обновления: информация, которая появилась за определенное время, или данные, которые уже содержались в БД.
- Проблемы, появляющиеся в информации, и способ их решения. К примеру, специалисты нередко сталкиваются с пропусками, аномалиями, тестовыми значениями, некорректными форматами.
- Способ уведомления пользователя о проблемах (скажем, если в какой-то момент в систему будет отправлено в несколько раз меньше сведений, чем раньше).
Получение доступа
Допустим, что сведения о продажах размещены в 1С, информация о работниках компании – в Гугл-таблицах, а акции и скидки – в базе данных. Каждая система имеет свои требования к доступу. При этом у каждого из этих источников есть свои ответственные лица, которые могут открывать и закрывать доступ для других пользователей.
Специалисту потребуется:
- Связаться с ответственными лицами и запросить доступ к определенным системам и данным.
- Сформировать аккаунт для функционирования автоматического ETL-процесса. Это необходимо для того, чтобы знать, кто именно пользуется информацией.
- Создать аккаунт дата-инженера. Это позволяет быстро проверять информацию и производить отладочные работы. Как правило, специалисту не предоставляют полный доступ (к примеру, чтобы он не смог просмотреть персональные данные покупателей).
- Получить доступ к так называемому тестовому контуру. Речь идет о пробной информации, на базе которой можно скорректировать и протестировать ETL-процессы.
Проверка полученных данных (предпроцессинг)
Специалисту необходимо выполнить анализ полученных данных и понять, какие из них следует оставить, а какие убрать. К примеру, в таблицах могут находиться текстовые аккаунты менеджеров, которые не нужны для выполнения задачи. Специалист получает часть данных и изучает ее.
Если информацию нужно предобработать, то это необходимо учесть в процессе написания кода.
Написание кода ETL-процесса
Когда специалист разобрался с тем, какие именно требуются сведения, где их найти и каким образом обработать, он должен написать код, который затем станет ETL-пайплайном (ETL-процессом).
Инженеру данных необходимо протестировать код. При проверке он должен получить следующие результаты:
- Технически код функционирует правильно, при выполнении не появляется никаких ошибок.
- Код читаем. Иными словами, специалист правильно составил наименования параметров, учел все переносы строк и табуляцию, а также правила формирования текста.
- Информация правильно обрабатывается, в расчетах нет ошибок.
Запуск автоисполнения кода
Существуют инструменты, с помощью которых можно в автоматическом режиме запускать ETL-процесс. К примеру, Apache Airflow или PySpark. Эти фреймворки исполняют код. Пользователь может отслеживать ход работы в интерфейсе или логах.
ETL-пайплайн представляет собой список задач, которые выполняются в заранее установленной последовательности. Яркий пример – батчевый процесс в Apache Airflow, где информация берется частями, а затем запускается процесс по определенному расписанию.
Стоит учесть, что при работе на распределенных системах специалист может разработать ETL-процесс таким образом, чтобы задачи выполнялись параллельно.
Есть разные способы исполнения кода: в режиме-онлайн или по определенному расписанию (к примеру, каждые 2 дня в 14:00 будет запускаться обработка сведений, полученных за прошедшие двое суток).
Проблемы с ETL-процессами
Существует множество инструментов для работы с ETL-процессами. При их выборе необходимо учитывать задачи, стоящие перед компанией, объем обрабатываемой информации и метод их использования. Перечислим самые часто встречаемые проблемы, которые возникают при настройке процесса ETL.
Подбор оптимального способа обработки
В некоторых случаях компании иногда нужно работать с большим количеством источников и разными форматами данных. Например, с полностью и частично структурированной информацией, потоковыми данными в онлайн-режиме, плоскими файлами.
Одни источники лучше конвертировать в batch-режиме, другие требуют настройки потоковой трансформации данных. Чтобы подобрать оптимальный формат обработки для каждого типа информации, специалист должен хорошо разбираться в этой теме.
Низкокачественные данные
Чтобы проанализировать данные, их нужно заранее преобразовать. При этом трансформация должна быть выполнена с максимальной точностью и в полном объеме. Если делать все вручную, то информация может быть утеряна. Кроме того, нередко возникают ошибки, связанные с дублированием данных. Однако существуют специализированные инструменты для работы с ETL, с помощью которых можно автоматизировать задачи и исключить «человеческий фактор».
Функция мониторинга позволит выявить различные проблемы. К примеру, если в систему попали данные, которые с ней несовместимы. Контроль качества также помогает выявлять дубликаты.
Плохая масштабируемость
По мере роста организации объем информации, который она использует, будет становиться все больше. На данный момент компания может без особых проблем применять локальную БД и пакетную загрузку, однако через несколько лет этого будет недостаточно. ETL имеют неограниченные возможности масштабирования процессов и объема.
При принятии решения с использованием полученной информации компании может потребоваться в кротчайшие сроки подключить облачное хранилище. Это позволит организации оперативно обрабатывать большие объемы данных без существенных финансовых потерь.
Часто задаваемые вопросы о ETL-процессах
Когда начали использоваться ETL-процессы?
ETL получил широкое распространение в 70-х годах. В том время организации начали работать с несколькими репозиториями и базами данных, что потребовало эффективной интеграции всей этой информации.
Какие ETL-системы являются самыми популярными?
Можно выделить несколько распространенных коммерческих решений:
- SAP Data Services;
- Informatica PowerCenter;
- IBM WebSphere DataStage;
- Oracle Data Integrator;
- SAS Data Integration Server.
Кому приходится работать с ETL-системами?
ETL-процессами занимаются бизнес- и дата-аналитики. Эти специалисты работают с бизнес-логикой и данными, поэтому им нередко приходится сталкиваться с разнородной информацией.
Знание ETL-процессов также может потребоваться разработчикам для реализации некоторых проектов.
Дата-инженеры выполняют проектирование, поддержку и оркестрацию (координирование работы сложных систем) платформ, предназначенных для хранения данных.
Для работы с ETL-процессами специалисту нужно хорошо знать теорию. Необходимо прочесть специальную литературу, изучить туториалы. Кроме того, рекомендуется пройти профессиональные курсы.
