Data Engineer (Clickstream, Flink)

О команде

Наша команда разрабатывает Flink Jobs. Наши заказчики — это аналитики и/или инженеры Авито. Мы сами предлагаем решения, устанавливаем требования к функционалу, вырабатывая ТЗ "на лету" — к нам приходят не с конкретной постановкой, а с бизнес-проблемой, техническое решение которой придумываем мы сами.

Помимо написания кода мы обеспечиваем стабильную работу всех джоб нашего кластера — а это значит оперативные разборы инцидентов, разборы стактрейсов, детективные расследования неожиданных проблем. Наши джобы должны работать 24/7 в рамках SLA, никогда не останавливаться и не тормозить.

Еще мы исследуем новые инструменты и сетапы для нашего кластера, решаем, как правильно построить пайплайн и сделать риалтайм-аналитику удобной для всех.

Примеры будущих задач

• Разработка Flink Job.

Вам предстоит

• Проектировать и программировать Flink-джобы со сложной логикой и динамическим ETL.
• Дорабатывать и автоматизировать существующие инструменты.
• Интегрироваться с другими аналитическими решениями.
• Изучать и внедрять новые инструменты.

Мы ждём, что вы

• Хорошо знаете Java и пишете оптимальный читабельный код.
• Понимаете основные структуры данных и алгоритмы.
• Имеете представление об архитектуре распределенных приложений.
• Разбираетесь в современных хранилищах данных.
• Умеете разбираться в новых инструментах и фреймворках, а также в их работе под капотом.
• Умеете работать самостоятельно и в команде.

Будет здорово, если вы

• Разбираетесь в разработке стриминговых приложений.
• Имеете опыт с Apache Flink, Kafka Streams, Spark Streaming или другим стриминговым движком, профессионально работали с Kafka.
• Имеете боевой опыт работы с RocksDB.
• Работали с ClickHouse, Vertica, Spark.

Работа у нас — это

• Возможность реализовать свои идеи в проекте с многомиллионной аудиторией.
• Талантливая команда, готовая поддержать ваши инициативы.
• Мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы.
• Прозрачная система премий, достойная зарплата — размер обсудим на собеседовании.
• Личный бюджет на обучение, который можно тратить на книги, курсы и конференции.
• Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист.
• Удалёнка из любой точки мира или замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.