Яндекс

Data Engineer

в Яндекс

250 000 —‍ 400 000 ₽/мес на руки

МоскваСанкт-ПетербургRemote
iconМосква, Россия
Специализация
Data Science / Machine Learning
Уровень
Middle
Команда
6 - 10 человек

В отделе качества рекламы разрабатываются модели для решения множества задач машинного обучения, и этим моделям нужны регулярные данные из разных систем.

Данных очень много — нужно обрабатывать несколько петабайт в день, при этом необходимо постоянно добавлять новые источники, разрезы и датасеты с минимальными затратами железа и времени разработчиков.

Мы хотим построить масштабируемый DWH для ML, который будет справляться с большой нагрузкой и, кроме того, позволит наладить процессы отслеживания потребления ресурсов и планирования заказов, сделать сквозной Data Lineage от источников до моделей с возможностью поиска и удаления неиспользуемых таблиц, построить систему проверки качества данных.

Технологии/инструменты

PythonHadoop/HiveAirflowAzkabanLuigiOozieMapReduce

Ожидания

  • Имеете опыт работы с MapReduce, например с Hadoop или Hive.
  • Имеете опыт работы с пайплайнами данных — Airflow, Azkaban, Luigi, Oozie и др.
  • Хорошо знаете Python.

Будет плюсом:

  • Разбираетесь в машинном обучении.
  • Знаете любой диалект SQL, работали с базами данных.
  • Знаете C++ на прикладном уровне.

Что предлагаем

  • Сильная команда, с которой можно расти.
  • Возможность влиять на процесс и результат.
  • Зарплата на уровне рынка и выше.
  • Премии каждые полгода для всех, кто успешно прошёл ревью.
  • Расширенная программа ДМС, оплата 80% стоимости ДМС для супругов и детей.
  • Гибкий график работы.
Никита Камзеев HR Expert
Яндекс

О компании Яндекс

Сфера
Продуктовая компания
Инвестиции
$100M+
Размер
1001+

Яндекс — одна из крупнейших IT-компаний в России. Компания развивает самую популярную в стране поисковую систему и создаёт сервисы, которые делают жизнь людей более комфортной и яркой. Сервисы Яндекс помогают в повседневных делах в офлайне и онлайне. С их помощью можно искать информацию в интернете, слушать музыку, выбирать товары и места, заказывать еду, перемещаться по городу и делать многое другое. Яндекс предлагает также продукты для рекламодателей и владельцев бизнеса.

Похожие вакансии

350 000 – 450 000 ₽/мес на руки
Москва, Санкт-Петербург или полная удаленка — на выбор
6 000 – 8 000 $/мес на руки
Переезд (Великобритания, Германия) или полная удаленка — на выбор
330 000 – 420 000 ₽/мес на руки
Москва (м. Новокузнецкая) или полная удаленка — на выбор
300 000 – 500 000 ₽/мес на руки
Санкт-Петербург или переезд (Лимасол, Кипр) — на выбор
300 000 – 350 000 ₽/мес на руки
полная удаленка