Senior Scala Developer

Примеры задач

• Улучшить интеграцию Spark и планировщика YT, автоскейлинг.
• Оптимизировать Data-path — код чтения и записи в YT.
• Оптимизировать Shuffle: развернуть Shuffle-service или сделать свой, интегрированный с YT.

Чем предстоит заниматься

• Работать над Spark Core: дорабатывать его для наших нужд, внедрять свой код в Upstream, следить за новыми версиями.
• Разрабатывать новые функции на стыке Spark и YT.
• Консультировать пользователей, устранять баги.
• Рассказывать о своих успехах на конференциях.

Ожидания

• Уверенно пишете на Scala или Java не меньше трёх лет.
• Готовы учить другие языки.
• Понимаете принципы обработки больших данных, парадигму MapReduce и её наследников.

Будет плюсом:

• Работали с Apache Spark.
• Знаете C++ или Python.
• Интересуетесь распределёнными системами.
• Хорошо знаете Hadoop Stack (особенно HDFS, YARN).

Условия

• Сильная команда, с которой можно расти.
• Сложные задачи для сервисов с миллионами пользователей.
• Возможность влиять на процесс и результат.
• Зарплата на уровне рынка и выше.
• Премии каждые полгода для всех, кто работает эффективно.
• Ипотечные программы под 3% на 10 лет или без процентов на 3 года.
• Компенсация питания.
• Расширенная программа ДМС: оплата 80% стоимости ДМС для супругов и детей.
• Спортзал, тренажёрный зал, йога в офисе.
• Гибкий график.

Полезные ссылки

• Hydra 2020, Максим Бабенко. «Erasure Coding at Scale»: ссылка.
• Highload++ 2021, Игнатий Колесниченко. «Как сдержать самые сложные обещания: планирование batch-задач в системе Yandex.YT»: ссылка.
• Ссылка на Хайлоад 2021 +
• Хабр, Максим Бабенко. «YT: зачем Яндексу своя MapReduce-система и как она устроена»: ссылка.