Data Engineer

Каждый день наши автономные машины собирают терабайты данных, которые мы собираем и анализируем для улучшения и тестирования нашего ПО. Мы ищем человека, который поможет нам в этой задаче и будет заниматься разработкой пайплайнов обработки данных и добавлять в них новый функционал.

Вакансия подразумевает работу с большими объемами технических данных с использованием SQL, Dagster, Spark и Polars/pandas, где объемы данных позволяют.

Чем предстоит заниматься:

• Реализовать пайплайн/шаг в существующем пайплайне, в котором будет реализован алгоритм расчета метрики функции автономного вождения (качество удержания в полосе, качество локализации, дальность распознавания).
• Оптимизировать обработку данных в существующем алгоритме путем перехода с Spark на Polars/Pyarrow с распараллеливанием обработки или оптимизации Spark запросов.
• Разрабатывать пайплайны обработки данных.
• Формировать витрины с метриками.
• Регламентация алгоритмов расчета метрик функций беспилотного вождения.

Что мы ждем от кандидатов:

• Разработка на языке Python.
• Хорошее знание SQL (на уровне джойнов и оконных функций).
• Был опыт обработки данных с использованием Python (Pandas/Polars).
• Знакомство со Spark и Airflow.

Будет плюсом:

• Опыт работы с Clickhouse.
• Опыт работы с Airflow/Luigi/Dagster.

Преимущества работы в Navio

Культура

• Крутой технологический домен.
• Работа в команде топовых разработчиков, возможность разрабатывать уникальные и крупные проекты масштаба нашей страны.
• Гибкий график работы и свободный дресс-код.

Здоровье

• ДМС для сотрудников с первого дня и стоматология после испытательного срока.
• Система со-оплаты ДМС для родственников.

Корпоративные программы

• Зарплатный проект банка-партнера.
• Бесплатная подписка на мультимедиасервисы.
• Субсидия на ипотеку и другие продукты банка на особых условиях.
• Широкий спектр дисконт–программ, скидок и привилегий от компаний-партнеров.

Обучение и возможности развития

• Виртуальная школа на HR-платформе с первого дня.
• Сообщества, митапы и хакатоны.
• Курсы повышения квалификации и другие формы внешнего обучения.
• Конференции.

Офис

• Просторный офис А класса с социальной инфраструктурой.
• Мягкие и коворкинг зоны.
• Кухня и корпоративная столовая (ресторан), компенсация питания и бесплатные напитки.
• Современная и производительная техника на выбор сотруднику для реализации самых смелых идей и креативных задач.

Присоединяйся!