Senior Data Engineer

Чем предстоит заниматься

Аналитическое хранилище для BI, Data Science и бизнес-подразделения:

• Прорабатывать модель этих данных и решать, как и где они будут храниться. Разные продукты = разные профили нагрузки; разные профили нагрузки = разные БД. Что Postgres — хорошо, то для Redis — смерть, и наоборот. Поэтому мы используем микс MPP-баз, традиционных RDBMS, Kafka, NoSQL и распределенных файловых систем.
• Делать Data-self Service. Чтобы полезно работать с данными, аналитически настроенные подразделения умеют в SQL и Python, а менее технические пользователи хотят красивые однокнопочные инструменты и Chatops.
• Автоматизировать работу с метаданными. Это чтобы аналитики всегда знали, какую схему имеет таблица X, что в ней означает столбец Y и для каких запросов оптимизирована таблица Z. Работа с Hive Metastore, Glue, Apache Atlas и т. п. — это всё здесь.

ETL- и аналитические процессы:

• Пакетные Spark-джобы на Scala.
• Стриминговые Flink-джобы — опять-таки на Scala.
• Пайплайны на Airflow.
• Кластер Kafka Сonnect.
• В общем, то, что называется “Data-intensive” приложения, и порой за рамками простого Filter + Save. Иногда ещё и в реальном времени.

Качество данных:

Вот как мы заботимся о качестве данных:

• Поднимаем на новые высоты автоматизированную и развесистую Data Quality систему на базе Airflow.
• Даём нетехническим пользователям интерактивные дашборды, где хорошо видно, всё ли в порядке с данными.
• Развиваем систему мониторинга и алертинга, постигая некоторые неочевидные тонкости Prometheus, Grafana и Cloudwatch.

Производительность ETL и аналитики:

Увлеченно решаем такие проблемы как:

• Почему в стриминговой джобе без состояния столь неприлично долгие Full GC-паузы.
• Затюнить использование Off-heap памяти в Flink и при этом не сойти с ума.
• Оптимизировать вон тот запрос из 5 джойнов, который стал в последнее время подлагивать.

Кого ищем

Человека, которого описание работы выше не оттолкнуло, а наоборот. Не знаете чего-то из этого? Не проблема, мы тоже много чего не знаем, будем разбираться вместе. Особенно легко будет разобраться, если вы:

• Работали с одним из Open-source планировщиков: Apache Airflow, Apache Oozie, Luigi, да хоть Cron.
• Умеете писать SQL-запросы с агрегацией, вложенностью и разными видами Join-ов (а аналитические функции мы и сами каждый раз пишем со словарём).
• Писали / пишете на Scala (опыт Type Class-эквилибристики не обязателен).
• Знаете или готовы изучить Python.
• Работали с Apache Spark (Batch / Streaming / Structured Streaming) и / или Apache Flink.
• Запускали сервисы в AWS / GCE / Azure.

Что предлагаем

• Полностью “белая” заработная плата и все остальные выплаты.
• Расширенный ДМС со стоматологией, онкозащитой, восстановлением после COVID, онлайн-поддержкой психолога, страховкой для путешественников.
• Годовой бюджет на внешнее обучение каждого сотрудника.
• Доступ к обучающей платформе с онлайн курсами по развитию Hard и Soft Skills.
• Доступ к корпоративной библиотеке.
• Скидки на обучение английскому от Skyeng.
• Тренинги с внутренними и внешними экспертами.
• Участие в конференциях, подготовка к выступлениям.
• Онбординг с ментором от одного месяца до года, в зависимости от команды.
• Возможность работать в гибридном формате или полностью удаленно.
• Корпоративный ноутбук.
• Возможность брать три дня каждые полгода для решения личных вопросов.
• Современный комфортный офис с вкусными бесплатными завтраками, спортзалом, парковкой — в десяти минутах ходьбы от ст.м. Таганская / Марксистская (ул. Александра Солженицына, 23А, стр.1).
• Скидки от партнеров (больше 200 интернет-магазинов).
• Зарплатный проект от Тинькофф.