Все вакансииData EngineeringRemoteMiddle

Data Engineer (ОК)

в VK

от 270 000 ₽/‍мес на руки

Можно удалённо из РФ

Специализация

Data Engineering

Уровень

Middle

Технологии/инструменты

SparkHadoopClickHouseYTsaurus

Команда OK.TECH объединяет сотни специалистов разработки, дизайна, маркетинга, машинного обучения, поддержки пользователей и не только. Каждый из нас влияет на то, каким увидят ОК миллионы пользователей.

Наша команда занимается анализом и хранением данных. Сейчас мы ищем человека на роль Data Engineer.

Вашей основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus-стека технологий.

Задачи

Разработка и оптимизация расчётов в Spark на YTsaurus.
Построение новых и рефакторинг старых ETL-процессов.
Доработка существующего фреймворка расчётов (Java + Spark).
Миграция и внедрение новых технологий обработки данных.
Разработка отчётов в SuperSet.

Требования

Опыт работы с Spark, SQL и большими объёмами данных.
Опыт построения сложных ETL-процессов.
Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем.
Желателен опыт работы с Hadoop-стеком, ClickHouse, Spark, Java, Airflow.

Будет плюсом опыт работы с YTsaurus, YQL.

Мы предлагаем

Гибкий график работы.
Бонусы и скидки от партнеров.
Офис в центре города.
ДМС.
Профессиональная команда.
Интересные задачи.

Евгения Мяченкова Старший менеджер по подбору персонала

О компании VK

Сфера

Продуктовая компания

Инвестиции

$100M+

Размер

1001+

VK (200+ технологичных проектов) делает современные и быстрые интернет-сервисы, доступные каждому. Каждый день миллионы россиян общаются ВКонтакте и в Одноклассниках, слушают VK Музыку и смотрят VK Клипы, скачивают приложения в RuStore, создают и читают контент в Дзене, играют в игры на VK Play, продают вещи на Юле и становятся умнее со SkillBox и GeekBrains. Штаб-квартира расположена в Москве, также есть представительства в 14 городах по всему миру.