Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения
VK

Data Engineer

в VK

250 000 —‍ 300 000 ₽/мес на руки

📍 Москва (м. Аэропорт)Можно удалённо из РФ
Специализация
Data Engineering
Уровень
Senior

Команда DWH агрегирует в себе накопленную экспертизу и лучшие практики холдинга в области построения хранилищ данных и аналитических приложений. Мы превращаем информационный хаос в чётко организованную систему, которая позволяет собирать, обрабатывать и анализировать любые объёмы данных. В нашей команде убеждены, что системы хранилищ данных должны максимально помогать людям — автоматизировать рутинные задачи, собирать и анализировать сырые данные, подготавливать почву для удобного и аргументированного принятия решений.

Мы ищем BigData-инженера, готового принять активное участие в разработке одного из крупнейших хранилищ группы компании: десятки петабайт данных, количество узлов кластера более 400, ежедневный прирост информации составляет десятки терабайт. В хранилище собрана информация большинства ключевых бизнес-юнитов компании, которая описывает поведение пользователей рунета: события посещений сайтов, клики (показы) рекламы, использование мобильных приложений, профили соцсетей пользователя, действия пользователей в соцсетях и их публичные сообщения и т. д. Все это позволяет составить достаточно полную картину поведения пользователя во всех сервисах mail.ru и строить на полученных данных сложные математические модели.

Технологии/инструменты

HadoopSpark / HiveETL

Наш стек технологий включает, но не ограничивается:

  • Database Systems: MySQL, Tarantool, ClickHouse.
  • Hadoop: Hive, Spark, MapReduce, Kafka.
  • DataFlow/ETL: Luigi, Airflow.
  • Business Inteligence: Tableau, Redash, SuperSet.
  • Continuous Integration: Jenkins, GitLab CI.
  • IssueTracking / KnwoledgeBase: Jira, Confluence.
  • Monitoring: Sentry, Graphite, Grafana, Prometheus, Telegraf.

Задачи

  • Участие в роли BigData Engineer в проекте построения системы обработки и хранения разнородной информации из различных бизнес-юнитов компании на базе Hadoop (BigData DWH).
  • Исследование большого объёма необработанных данных, накопленных в компании.
  • Построение и оптимизация нетривиальных ETL-процессов обработки больших данных, участие в построении процессов потребления данных на всех этапах, их трансформации от появления информации в конкретном бизнес-юните до монетизации полученных знаний.
  • Взаимодействие с командой Data Scientist и совместная реализация стабильного расчёта математических моделей.
  • Поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.

Ожидания

  • Не менее года релевантного опыта работы.
  • Опыт работы с большими объёмами данных, понимание стека технологий Hadoop, глубокое знание Spark или Hive.
  • Опыт организации ETL-процессов обработки данных.
  • Знание классических алгоритмов и структур данных.
  • Знания в области теории обработки и хранения информации.
  • Ссылки на публичные репозитории (статьи с примерами работы приветствуются).

Будет плюсом:

  • Знание Java, Scala в контексте обработки больших данных.
  • Знание Code-Driven ETL Luigi, Airflow.
  • Опыт разработки на Python.

Условия

  • Гибкий график работы.
  • Бонусы и скидки от партнеров.
  • Офис в центре города.
  • ДМС.
  • Профессиональная команда.
  • Интересные задачи.
Ольга Коняева IT Recruiter
VK

О компании VK

Сфера
Продуктовая компания
Инвестиции
$100M+
Размер
1001+

VK (200+ технологичных проектов) делает современные и быстрые интернет-сервисы, доступные каждому. Каждый день миллионы россиян общаются ВКонтакте и в Одноклассниках, слушают VK Музыку и смотрят VK Клипы, скачивают приложения в RuStore, создают и читают контент в Дзене, играют в игры на VK Play, продают вещи на Юле и становятся умнее со SkillBox и GeekBrains. Штаб-квартира расположена в Москве, также есть представительства в 14 городах по всему миру.

Похожие вакансии

6 000 – 7 000 $/мес на руки
Полная удалёнка
560 000 – 680 000 ₽/мес на руки
📍 Москва (м. Павелецкая), офис или гибрид
450 000 – 750 000 ₽/мес на руки
📍 Москва (м. Кутузовская), офис несколько дней в неделю
400 000 – 480 000 ₽/мес на руки
📍 Москва (м. Смоленская), Санкт-Петербург (м. Площадь Ленина), Минск (Беларусь), офис или гибрид
400 000 – 480 000 ₽/мес на руки
📍 Москва (м. Смоленская), офис или гибрид