📍 Москва (м. Преображенская площадь)Санкт-Петербург (м. Адмиралтейская)НовосибирскМожно удалённо из РФ
Специализация
Data Engineering
Команда Data Engineers — часть отдела Machine Learnings со своим Team Lead. Кроме TL в команде на данный момент 3 разработчика. Мы работаем по Scrum-методологии и стараемся быть гибкими в процессах, поэтому у нас есть небольшой Daily Scrum Meeting, планирование спринта по пятницам (1 спринт = 1 неделя) и в конце месяца мы совмещаем планирование с небольшим ретро. Раз в месяц весь отдел ML собирается на демо дни для обсуждения своих квартальных планов и обмена опытом. Т.к. у нас много задач по написанию кода, мы работаем по GitFlow с обязательными кросс-ревью.
Мы постоянно работаем над автоматизацией рутинных процессов и последний год один из наших приоритетных проектов — Feature Store. Он позволяет автоматизировать сбор датасетов для расчёта типовых фичей. Являясь платформенной командой, мы много времени уделяем разработке внутренних библиотек. Стараемся своевременно обновлять кодовую базу и мигрировать на новые версии Python/Spark. Есть своя собственная система мониторинга здоровья процессов с нотификациями в Slack.
Технологии/инструменты
Python 3.9/3.10Spark 3AirFlow 2.5RedisCassandraKafkaScalaNoSQL
- Есть небольшой процент задач по Spark Streaming.
Задачи
- Создание регулярных процессов подготовки и поставки данных для продуктовых команд и Data Scientist-ов (Batch, Streaming).
- Разработка Feature Store для команды Data Science.
- Поддержка решения в PROD.
Наш будущий коллега
- Имеет опыт работы с Hadoop стеком от 2-х лет.
- Верхнеуровнево понимает архитектуру работы HDFS: какие типы нод за что отвечают, как работает Erasure Coding.
- Имеет опыт работы со Spark: может объяснить что такое драйвер и экзекьюторы, пояснить за ленивость и actions, как связаны RDD и DataFrame.
- Кодит на Python: основные типы и структуры данных, понимание концепций работы async кода и его отличий от классической модели, OOP, декораторы/генераторы/итераторы/Context Manager.
- Работал с Kafka.
Мы предлагаем
- Удаленную работу по РФ в аккредитованной IT компании и возможность приходить в офис в Москве, Санкт-Петербурге и Новосибирске. В офисе — кухни, оборудованные всем необходимым, где всегда доступно много разнообразной еды, снеки, фрукты, кофе и чай. Тихие комнаты, где можно сосредоточиться над задачей или просто отдохнуть в тишине, массажное кресло и массажный шлем, «мягкая зона» с Play Station. Бесплатная авто- и велопарковки.
- Рост и развитие: в первые месяцы у каждого сотрудника есть наставник, после появляется личный план развития и возможность прокачивать Soft/Hard skills на практике, обучении, конференциях.
- Плюшки: ДМС с первого дня (стоматология, госпитализация, полис туриста), ежегодная компенсация спорта, 5 day off в год, помимо основного отпуска.
Дарья Фролова IT Recruiter
