Senior Data Engineer с экспертизой на Java (ОК)

Команда OK.TECH объединяет сотни специалистов разработки, дизайна, маркетинга, машинного обучения, поддержки пользователей и не только. Каждый из нас влияет на то, каким увидят ОК миллионы пользователей.

В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer.

Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus-стека технологий.

Задачи

• Построение новых и оптимизация старых ETL-процессов.
• Участие в доработках платформы и фреймворка расчётов (Java, Spark).
• Разработка новых витрин данных для задач аналитики и A/B-экспериментов.
• Разработка отчётов в Superset.

Требования

• Опыт работы с SQL и большими объёмами данных.
• Опыт построения сложных ETL-процессов.
• Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки.
• Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем.
• Желателен опыт работы с Hadoop-стеком, ClickHouse, Spark, Java, Airflow.

Будет плюсом

• Опыт работы с YTsaurus, YQL.

Мы предлагаем

• Гибкий график работы.
• Офис в центре города.
• ДМС.
• Бонусы от партнеров.
• Интересные задачи.