Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения
VK

Senior Data Engineer

в VK

300 000 —‍ 360 000 ₽/мес на руки

📍 Москва (м. Аэропорт)Можно удалённо из РФ
Специализация
Data Engineering
Уровень
Senior

Наш департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. У нас в команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.

Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.

У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайтов.

Технологии/инструменты

SQLPythonScalaBashGitLinuxDockerHDFSSparkHiveSSH

Задачи

  • Проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных.
  • Участвовать в развитии системы для создания и использования ML-моделей.
  • Исследовать и интегрировать в продукт новые источники данных.
  • Создавать витрины признаков для ML-моделей.

Требования

  • Знание алгоритмов и структур данных.
  • Умение писать качественный, поддерживаемый код на Scala, Python, SQL.
  • Опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive).
  • Знакомство с Bash, Git, Linux, Docker.
  • Опыт работы с терминалом по SSH.

Будет плюсом:

  • Умение использовать Luigi, Airflow, Kafka.
  • Опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml.
  • Знание Java и нюансов JVM.
  • Понимание классических ML-моделей, задач и методов DS.

Условия

  • Гибкий график работы.
  • Бонусы и скидки от партнеров.
  • Офис в центре города.
  • ДМС.
  • Профессиональная команда.
Ольга Коняева IT Recruiter
VK

О компании VK

Сфера
Продуктовая компания
Инвестиции
$100M+
Размер
1001+

VK (200+ технологичных проектов) делает современные и быстрые интернет-сервисы, доступные каждому. Каждый день миллионы россиян общаются ВКонтакте и в Одноклассниках, слушают VK Музыку и смотрят VK Клипы, скачивают приложения в RuStore, создают и читают контент в Дзене, играют в игры на VK Play, продают вещи на Юле и становятся умнее со SkillBox и GeekBrains. Штаб-квартира расположена в Москве, также есть представительства в 14 городах по всему миру.

Похожие вакансии

6 000 – 7 000 $/мес на руки
Полная удалёнка
450 000 – 750 000 ₽/мес на руки
📍 Москва (м. Кутузовская), офис несколько дней в неделю
400 000 – 480 000 ₽/мес на руки
📍 Москва (м. Смоленская), Санкт-Петербург (м. Площадь Ленина), Минск (Беларусь), офис или гибрид
400 000 – 480 000 ₽/мес на руки
📍 Москва (м. Смоленская), офис или гибрид
400 000 – 450 000 ₽/мес на руки
Можно удалённо из РФ