Data Engineer

Привет! Мы команда Data Engineering. С ростом количества пользователей увеличивается и нагрузка на сервис, поэтому мы ищем опытного специалиста, который будет принимать участие в проектах по развитию дата-платформы.

У нас:

• Более 500 GB сырых Clickstream данных в сутки.
• Более 500 GB сырых Operational Data в сутки.
• Более 500 витрин данных.
• Более 10 видов источников данных.

Позиция предполагает высокую степень автономности и самостоятельности, но и вместе с тем плотное взаимодействие с коллегами, аналитиками, ML-engineer’ами и разработчиками.

Задачи

• Сопровождение и разработка Airflow DAGs.
• Оптимизация/разработка SQL запросов для витрин данных.
• Сопровождение и развитие инфраструктуры дата-платформы.
• Разработка dbt моделей. Портирование существующих витрин на dbt модели.
• Проектирование, разработка и тестирование ETL/ELT процессов.
• Проведение Proof of concept с дальнейшей презентацией и внедрением в продакшен.
• Участвовать в принятии архитектурных решений для дата-платформы.
• Описание технических частей итоговой работы в документации.

Навыки:

• Опыт работы инженером данных от 4-5 лет.
• Уверенно владеете Python на уровне написания Airflow DAG’ов.
• Уверенно владеете SQL на уровне оптимизации запросов. Умеете читать планы запросов и предлагать варианты по улучшению производительности запросов.
• Имеете опыт работы с Apache Airflow, знаете принципы построения пайплайнов.
• Имеете опыт работы с dbt.
• Знаете, что такое MPP (Massive Parallel Processing) СУБД, и имели опыт работы с подобными (Redshift, Greenplum, Vertica).
• Уверенный Linux пользователь.
• Умение четко формулировать технические спецификации и отстаивать техническую позицию.
• Умеете выбирать технологии для решения конкретных задач.
• Обязательный опыт работы с AWS.

Будет плюсом:

• Опыт работы с облачной инфраструктурой AWS для построения дата-платформы.
• Если есть опыт работы в области построения архитектуры Lakehouse с использованием Parquet, AWS Athena и других технологий AWS.
• Если вы работали с системами мониторинга (Prometheus + Grafana, Zabbix).
• Если вы работали с СУБД Postgres, Clickhouse.
• Если вы работали с Apache NiFi.
• Если вы собирали и сопровождали контейнеры Docker.

Мы готовы предложить вам:

• Работа с первым по популярности продуктом в своей отрасли.

• Оформление по ТК Грузии, конкурентную заработную плату.

• Гибкий график, адаптивное рабочее место и пространство для отдыха.

• ДМС, а также 100% компенсацию больничного листа.

• Компенсацию питания и неограниченное количество снеков круглосуточно.

• Компенсацию изучения английского языка, конференции и курсы под спонсорством компании.

• Тимбилдинги и корпоративные мероприятия.

• Поддержка от HR-партнера, который поможет адаптироваться и решить любые вопросы.

Мы не рассматриваем удаленный формат сотрудничества.