Инженер данных (Управление ценностью данных)

Задачи

• Создание и улучшение процессов обработки данных (NiFi, Airflow, Flink, Spark, SQL).
• Оптимизация запросов к данным (партицирование, индексы, дистрибьюция и т.д.).
• Создание витрин данных (Greenplum, Clickhouse и т.д.).
• Работа с различными типами БД (Greenplum, MS SQL Server, Oracle, PostgreSQL, MongoDB и т.д.).
• Участие в принятии архитектурных решениях DWH.
• Разработка схем подключения новых источников в DWH.
• Проведение Code Review.
• Разработка процедур формирования детального слоя данных и слоя витрин DWH.
• Настройка алертов по качеству данных.
• Реализация процессов CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus).
• Написание manual и automated DQ тестов.
• Документирование своей работы в Confluence.
• Работа в Jira.
• Запрашивать и делиться развивающей обратной связью с коллегами для совместного развития.
• Активное участвовать в различных коммьюнити компании.

Ожидания

• Опыт работы на аналогичной позиции от трёх лет.
• Техническое образование (желательно ИТ).
• Знания принципов работы БД, построения DWH.
• Опыты разработки ETL процессов (NiFi, Flink, Airflow, Spark).
• Опыт работы с системами контроля версий (Git).
• Опыт работы с высоконагруженными распределенными системами хранения и обработки данных.
• Отличное знание SQL, опыт оптимизации запросов.
• Опыт самостоятельного ведения проектов, прямого общения с бизнесом.
• Желание обучаться и развиваться.
• Умение читать техническую литературу на английском языке.

Будет плюсом:

• Опыт разработки на Python/Scala или Java.

Условия

• Прозрачные условия для профессионального и карьерного роста, наши сотрудники имеют все возможности для горизонтального и вертикального перехода.
• ДМС со стоматологией от Ренессанс, телемедицина.
• Страхование от несчастных случаев.
• Ежемесячно выплачивается дотация на питание.
• Участие в конференциях и во внутренних, и внешних митапах.
• Гибкий график и возможность работать удалённо.
• Английский и французский язык для изучения по согласованию.