Компания больше не ищет сотрудника. Посмотрите похожие предложения
Data Engineer (ОК)
в VK
от 270 000 ₽/мес на руки
Технологии/инструменты
Команда OK.TECH объединяет сотни специалистов разработки, дизайна, маркетинга, машинного обучения, поддержки пользователей и не только. Каждый из нас влияет на то, каким увидят ОК миллионы пользователей.
Наша команда занимается анализом и хранением данных. Сейчас мы ищем человека на роль Data Engineer.
Вашей основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus-стека технологий.
Задачи
- Разработка и оптимизация расчётов в Spark на YTsaurus.
- Построение новых и рефакторинг старых ETL-процессов.
- Доработка существующего фреймворка расчётов (Java + Spark).
- Миграция и внедрение новых технологий обработки данных.
- Разработка отчётов в SuperSet.
Требования
- Опыт работы с Spark, SQL и большими объёмами данных.
- Опыт построения сложных ETL-процессов.
- Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем.
- Желателен опыт работы с Hadoop-стеком, ClickHouse, Spark, Java, Airflow.
Будет плюсом опыт работы с YTsaurus, YQL.
Мы предлагаем
- Гибкий график работы.
- Бонусы и скидки от партнеров.
- Офис в центре города.
- ДМС.
- Профессиональная команда.
- Интересные задачи.
О компании VK
VK (200+ технологичных проектов) делает современные и быстрые интернет-сервисы, доступные каждому. Каждый день миллионы россиян общаются ВКонтакте и в Одноклассниках, слушают VK Музыку и смотрят VK Клипы, скачивают приложения в RuStore, создают и читают контент в Дзене, играют в игры на VK Play, продают вещи на Юле и становятся умнее со SkillBox и GeekBrains. Штаб-квартира расположена в Москве, также есть представительства в 14 городах по всему миру.