Data Engineer (Clickstream)

Вам предстоит

• Разрабатывать новые и поддерживать существующие продукты в составе кросс-функциональной команды.
• Заниматься развитием существующей BigData-платформы с упреждением растущей нагрузки от новых задач и данных (90% задач связаны со Spark).
• Создавать новые сервисы на Python и улучшать уже существующие.
• Продвигать лучшие практики и делиться с командой своим опытом.
• Предлагать новые подходы и тут же пробовать их в продакшене с реальными данными.

Мы ждём, что вы

• Знаете и умеете писать на Python или Java/Scala (с переходом на Python).
• Глубоко понимаете экосистему Hadoop/Spark/Hive и связанных продуктов.
• Имеете опыт работы с данными/решали аналитические задачи.
• Умеете администрировать Linux-системы на базовом уровне.
• Не боитесь нестандартных решений.

Будет плюсом, если вы:

• Имеете опыт работы с Apache Airflow, знаете принципы построения пайплайнов.
• Разрабатывали бэкенд приложения на Flask/Asyncio/Django/другом Python-фреймворке или Golang.
• Разбираетесь в инфраструктуре Apache Kafka.
• Писали стриминговые приложения на Apache Flink/Spark.
• Использовали в своей работе для администрирования оркестраторы кластеров (Ansible, SaltStack, Puppet и др.).
• Умеете и любите писать тесты, знаете и применяете подходы TDD, BDD.
• Собирали CI/CD-решения, умеете работать с Docker.
• Работали с кластерными СУБД (Vertica, ClickHouse, Sphinx, Trino и др.).

Работа у нас — это

• Интересные и важные задачи на очень большом проекте.
• Передовые технологии и подходы, возможность пробовать новое.
• Опытные и заинтересованные коллеги, готовые оказать поддержку.
• Возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных.
• Личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
• Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
• Возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.