Компания больше не ищет сотрудника. Посмотрите похожие предложения
Senior Scala Developer
в Яндекс (Поисковый портал)
250 000 — 450 000 ₽/мес на руки
Технологии/инструменты
YT — основная платформа для аналитики и построения batch-процессов в Яндексе, которая включает несколько видов хранилищ, планировщик ресурсов и встроенный MapReduce-движок. Apache Spark — популярный открытый фреймворк для распределённой обработки больших данных.
Мы интегрируем Spark и YT с 2020 года и уже рассказывали об этом на конференции Highload++ 2021. Сейчас Spark-over-YT используют десятки инженеров данных Яндекса. Мы ищем сильного разработчика, которому интересно заниматься распределёнными системами и инфраструктурой обработки больших данных.
Наш стек:
- Spark Core на Scala.
- YT на C++.
- Клиентские библиотеки на Java и Python.
Примеры задач
- Улучшить интеграцию Spark и планировщика YT, автоскейлинг.
- Оптимизировать Data-path — код чтения и записи в YT.
- Оптимизировать Shuffle: развернуть Shuffle-service или сделать свой, интегрированный с YT.
Чем предстоит заниматься
- Работать над Spark Core: дорабатывать его для наших нужд, внедрять свой код в Upstream, следить за новыми версиями.
- Разрабатывать новые функции на стыке Spark и YT.
- Консультировать пользователей, устранять баги.
- Рассказывать о своих успехах на конференциях.
Ожидания
- Уверенно пишете на Scala или Java не меньше трёх лет.
- Готовы учить другие языки.
- Понимаете принципы обработки больших данных, парадигму MapReduce и её наследников.
Будет плюсом:
- Работали с Apache Spark.
- Знаете C++ или Python.
- Интересуетесь распределёнными системами.
- Хорошо знаете Hadoop Stack (особенно HDFS, YARN).
Условия
- Сильная команда, с которой можно расти.
- Сложные задачи для сервисов с миллионами пользователей.
- Возможность влиять на процесс и результат.
- Зарплата на уровне рынка и выше.
- Премии каждые полгода для всех, кто работает эффективно.
- Ипотечные программы под 3% на 10 лет или без процентов на 3 года.
- Компенсация питания.
- Расширенная программа ДМС: оплата 80% стоимости ДМС для супругов и детей.
- Спортзал, тренажёрный зал, йога в офисе.
- Гибкий график.
Полезные ссылки
- Hydra 2020, Максим Бабенко. «Erasure Coding at Scale»: ссылка.
- Highload++ 2021, Игнатий Колесниченко. «Как сдержать самые сложные обещания: планирование batch-задач в системе Yandex.YT»: ссылка.
- Ссылка на Хайлоад 2021 +
- Хабр, Максим Бабенко. «YT: зачем Яндексу своя MapReduce-система и как она устроена»: ссылка.
О компании Яндекс (Поисковый портал)
Яндекс — одна из крупнейших ИТ-компаний в России. Мы развиваем самую популярную в стране поисковую систему и создаём сервисы, которые помогают людям в повседневных делах. С их помощью можно искать информацию в интернете, слушать музыку, выбирать товары и места, заказывать еду, перемещаться по городу и делать многое другое. Яндекс предлагает также продукты для бизнеса.