Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения
Яндекс

Data Engineer

в Яндекс

250 000 —‍ 400 000 ₽/мес на руки

📍 МоскваСанкт-ПетербургПолная удалёнка
Специализация
Data Science / Machine Learning
Уровень
Middle
Команда
6 - 10 человек

В отделе качества рекламы разрабатываются модели для решения множества задач машинного обучения, и этим моделям нужны регулярные данные из разных систем.

Данных очень много — нужно обрабатывать несколько петабайт в день, при этом необходимо постоянно добавлять новые источники, разрезы и датасеты с минимальными затратами железа и времени разработчиков.

Мы хотим построить масштабируемый DWH для ML, который будет справляться с большой нагрузкой и, кроме того, позволит наладить процессы отслеживания потребления ресурсов и планирования заказов, сделать сквозной Data Lineage от источников до моделей с возможностью поиска и удаления неиспользуемых таблиц, построить систему проверки качества данных.

Технологии/инструменты

PythonHadoop/HiveAirflowAzkabanLuigiOozieMapReduce

Ожидания

  • Имеете опыт работы с MapReduce, например с Hadoop или Hive.
  • Имеете опыт работы с пайплайнами данных — Airflow, Azkaban, Luigi, Oozie и др.
  • Хорошо знаете Python.

Будет плюсом:

  • Разбираетесь в машинном обучении.
  • Знаете любой диалект SQL, работали с базами данных.
  • Знаете C++ на прикладном уровне.

Что предлагаем

  • Сильная команда, с которой можно расти.
  • Возможность влиять на процесс и результат.
  • Зарплата на уровне рынка и выше.
  • Премии каждые полгода для всех, кто успешно прошёл ревью.
  • Расширенная программа ДМС, оплата 80% стоимости ДМС для супругов и детей.
  • Гибкий график работы.
Никита Камзеев HR Expert
Яндекс

О компании Яндекс

Сфера
Продуктовая компания
Инвестиции
$100M+
Размер
1001+

Яндекс — одна из крупнейших IT-компаний в России. Компания развивает самую популярную в стране поисковую систему и создаёт сервисы, которые делают жизнь людей более комфортной и яркой. Сервисы Яндекс помогают в повседневных делах в офлайне и онлайне. С их помощью можно искать информацию в интернете, слушать музыку, выбирать товары и места, заказывать еду, перемещаться по городу и делать многое другое. Яндекс предлагает также продукты для рекламодателей и владельцев бизнеса.

Похожие вакансии

5 000 – 7 000 €/мес на руки
📍 Москва, Кипр, полная удалёнка, помощь с переездом
5 000 – 7 500 $/мес на руки
Полная удалёнка
400 000 – 460 000 ₽/мес на руки
📍 Москва (м. Аэропорт), Санкт-Петербург (м. Адмиралтейская), офис или гибрид
4 000 – 6 000 $/мес на руки
📍 Ереван (Армения), полная удалёнка, помощь с переездом
350 000 – 420 000 ₽/мес на руки
📍 Москва (м. Преображенская площадь), Санкт-Петербург (м. Ладожская), Новосибирск, Воронеж, можно удалённо из РФ