Инженер данных: чем отличается от аналитика

Разница в одну фразу

Аналитик отвечает на вопросы по данным. Инженер данных делает так, чтобы данные были.

Аналитик берёт таблицу и считает. Инженер строит то, откуда эта таблица берётся: собирает данные из десятка источников, приводит к единому виду, укладывает в хранилище, следит, чтобы обновлялось вовремя и не ломалось.

Чем занимается на практике

Строит конвейеры данных. Регулярные процессы: забрать из источника, преобразовать, положить в хранилище. Сотни таких процессов в средней компании.

Следит за качеством. Данные приходят битые, неполные, с задержкой. Задача — заметить это раньше, чем на них построят отчёт.

Проектирует хранилище. Как разложить данные, чтобы к ним было удобно и быстро обращаться.

Разбирается, когда сломалось. Отчёт показывает ерунду — идут к инженеру.

Оптимизирует. Расчёт, который идёт шесть часов и не укладывается в ночь, надо ускорить.

Что нужно знать

Запросы к базам на высоком уровне. Не «умею выбрать», а уверенно: оконные функции, планы выполнения, оптимизация.

Python. Основной инструмент для обработки и автоматизации.

Как устроены хранилища. Различия между базами для повседневной работы и для анализа, принципы организации данных.

Инструменты оркестровки. Системы, которые запускают конвейеры по расписанию и следят за зависимостями.

Потоковую обработку. Когда данные обрабатываются не раз в сутки, а по мере поступления.

Инфраструктуру. Контейнеры, облачные хранилища, основы эксплуатации.

Порог заметно выше, чем у аналитика: тут нужна и работа с данными, и программирование, и понимание инфраструктуры.

Откуда приходят

Из аналитики. Самый частый путь. Аналитик, которому надоело ждать данные и который начал строить их сам.

Из разработки. Тоже часто: программировать уже умеет, добирает специфику данных.

Из администрирования баз. Реже, но бывает.

С нуля. Почти не встречается. Начальных вакансий мало, и на них берут людей с опытом хотя бы в смежном.

Стоит ли идти сюда сразу

Обычно нет. Разумнее войти через аналитику или разработку, поработать год и переходить осознанно — понимая, что именно вам не нравится в текущей роли и почему инженерия данных это исправит.

Есть и практическая причина: инженер данных, который никогда не был аналитиком, строит хранилища, неудобные для аналитиков. Опыт по ту сторону очень помогает.

Как попробовать до перехода

Соберите свой маленький конвейер:

• Возьмите источник данных, который обновляется: открытые данные, публичный интерфейс сервиса.
• Напишите процесс, который регулярно забирает свежее.
• Приведите к единому виду и уложите в базу.
• Настройте расписание и оповещение при сбое.
• Постройте отчёт поверх этого.

Такой проект показывает ровно то, что нужно на входе, и его можно сделать за пару недель вечерами.

А если делать это в команде с человеком, который будет строить отчёты поверх ваших данных, — вы сразу получите обратную связь о том, удобно ли пользоваться тем, что вы сделали. Это и есть главный навык в профессии.