Data Engineer

Вам предстоит

• Помогать коллегам Data Science в оптимизации их работающих пайплайнов, проявляя проактивность с предложениями по оптимизации.
• Взаимодействовать с коллегами DevOps по настройке окружений, деплою кода и работе с инфраструктурой компании.
• Настраивать и поддерживать стенды, с которых запускаются задания.
• Общаться с коллегами DQ, выяснять детали наполнения данных и участвовать в составлении БТ к данным.
• Писать ETL-пайплайны.
• Решать неожиданные проблемы с данными и задержками их доставки.
• Настраивать мониторинг разнообразных процессов.

Требования

• Опыт работы в роли Data Engineer от 3 лет.
• Опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP.
• Опыт оптимизаций SQL-запросов и понимание оптимизаций на уровне Spark Catalyst.
• Опыт работы с базами данных MPP.
• Опыт работы с Airflow.
• Опыт работы с Postgres и ClickHouse.
• Опыт работы с Kubernetes (K8s).
• Опыт DevOps: знание Docker, Gitlab CI, опыт настройки окружения на серверах и др.
• Опыт проектирования высоконагруженных приложений и/или приложений работы с большими данными.
• Опыт работы с операционной системой Linux.
• Уверенные знания Python 3.7 + Spark 2.4 / Spark 3.0: структуры данных, алгоритмы, концепции языка.
• Уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов.
• Знание и практический опыт использования pandas и NumPy для продвинутой аналитики.
• Глубокие теоретические знания стека технологий и практический опыт работы со Spark, Hadoop, Hive.

Условия

Хорошая зарплата

• Размер зарплаты обсуждаем отдельно с каждым кандидатом.
• Доплачиваем за менторство, ведение обучающих курсов, ревью проектов и участие в других профактивностях компании.

Развитие в профессии

• Долгосрочные проекты от российских заказчиков.
• Возможность выбирать или менять проект и пробовать себя в новых направлениях.
• Прозрачная система Performance Review.
• Ментор на все время работы в компании.

Комфорт и свобода

• Свободный релокейт между офисами компании.
• Возможность выбирать формат работы: удаленный, из офиса или гибридный.
• Комфортные офисы в городах-центрах разработки.
• Поэтапная система адаптации новых сотрудников.

Обучение

• Корпоративный портал с материалами для изучения любого нового стека и повышения уровня по своей специальности и не только.
• Участие в технических митапах и конференциях в качестве гостя и спикера.

Социальный пакет

• Медицинская страховка (+стоматология).
• Частичная компенсация спортивных абонементов.
• Компенсация расходов на оплату коворкинга.
• 3 sick-days в год.
• Оплачиваемый бенч.
• Оплачиваемый отпуск 28 дней в году.
• Оплачиваемые больничные.

Корпоративная жизнь

• Корпоративы и тимбилдинги.
• Детские праздники и мастер-классы с подарками и сладостями для семей сотрудников.