Компания больше не ищет сотрудника. Посмотрите похожие предложения
Senior Data Engineer
в VK
300 000 — 360 000 ₽/мес на руки
Технологии/инструменты
Наш департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. У нас в команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.
Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.
У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайтов.
Задачи
- Проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных.
- Участвовать в развитии системы для создания и использования ML-моделей.
- Исследовать и интегрировать в продукт новые источники данных.
- Создавать витрины признаков для ML-моделей.
Требования
- Знание алгоритмов и структур данных.
- Умение писать качественный, поддерживаемый код на Scala, Python, SQL.
- Опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive).
- Знакомство с Bash, Git, Linux, Docker.
- Опыт работы с терминалом по SSH.
Будет плюсом:
- Умение использовать Luigi, Airflow, Kafka.
- Опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml.
- Знание Java и нюансов JVM.
- Понимание классических ML-моделей, задач и методов DS.
Условия
- Гибкий график работы.
- Бонусы и скидки от партнеров.
- Офис в центре города.
- ДМС.
- Профессиональная команда.
О компании VK
VK — крупнейшая технологическая компания по числу пользователей в Рунете. Цифровые продукты VK предоставляют десяткам миллионов людей возможность решать повседневные задачи онлайн: общаться, учиться, развлекаться и самореализовываться. Для предпринимателей VK разрабатывает инструменты развития и продвижения бизнеса в социальных сетях и на контентных платформах. Для бизнес-клиентов VK развивает продукты и услуги по цифровизации.
VK — это команда профессионалов, которая создает комфортную и безопасную цифровую среду для миллионов людей и тысяч бизнес-клиентов. Компания привлекает лучшие таланты и предоставляет им возможность раскрыть свой потенциал в дружелюбной и безопасной среде, в командной работе над популярными цифровыми продуктами и сервисами.