Компания больше не ищет сотрудника. Посмотрите похожие предложения
Разработчик платформы управления данными
в Яндекс Райдтех
230 000 — 450 000 ₽/мес на руки
Технологии/инструменты
Наша платформа доставляет данные из множества источников сотням потребителей и использует самые разные технологии: от MapReduce до Flink, от Spark до SQL в аналитических базах данных. Мы стремимся писать совершенный код, проектировать и оптимизировать самые сложные расчёты, прорабатывать самые сложные алгоритмы и готовить инструментарий для сотен бизнес-пользователей.
Наша команда постоянно рассказывает о своих решениях:
- На SmartData 2020 о том, как мы разрабатываем DMP для Такси, Еды и Лавки.
- На DataFest 2020 о DSL для ETL в DMP.
- На HighLoad++ Весна 2021 о том, как подключить к Apache Spark проприетарный источник данных.
Мы ищем разработчика компонента платформы, который будет отвечать за поставку данных в хранилище, их трансформацию на лету и репликацию в разные системы хранения и дата-центры.
Что нужно делать
- Строить распределённую инфраструктуру для получения, обработки и контроля качества данных.
- Разрабатывать собственный DSL для описания трансформаций данных в стриминге и батч-обработке.
- Проектировать интерфейс системы, которой будут пользоваться сотни инженеров данных.
- Оптимизировать потребление ресурсов в процессах обработки данных.
- Автоматизировать рутину.
- Заниматься автодокументацией, мониторингами, логами, метриками, админками.
Ожидания
- Уверенно программируете на Python, Java или Scala и готовы осваивать новые языки и технологии.
- Умеете и любите писать тесты для своего кода.
- Понимаете, зачем нужны непрерывная интеграция и непрерывная доставка (CI/CD), Git и ревью кода.
- Любите и умеете писать чистый код и в меру рефакторить его.
Будет плюсом, если вы:
- Разрабатывали и проектировали распределённые системы — наша инфраструктура должна базироваться в нескольких дата-центрах.
- Проектировали хранилища данных или поставку данных в них.
- Проектировали и разрабатывали процессы обработки сложных событий (CEP) в почти реальном времени на Flink, Spark Streaming, Kafka Streams.
- Работали со стриминговыми платформами, например AWS Kinesis, Apache Kafka, Azure Event Hubs, понимаете, как они устроены и зачем они нужны.
Что предлагаем
- Сильная команда, с которой можно расти.
- Сложные задачи для сервисов с миллионами пользователей.
- Возможность влиять на процесс и результат.
- Зарплата на уровне рынка и выше.
- Премии каждые полгода для всех, кто успешно прошёл ревью.
- Расширенная программа ДМС: оплата 80% стоимости ДМС для супругов и детей.
- Гибкий график работы.
- Помощь с переездом иногородним.
О компании Яндекс Райдтех
Яндекс Райдтех — это Такси, Драйв, Доставка и другие сервисы Яндекса. Подразделение Такси отвечает за то, чтобы перемещение из пункта А в пункт Б было удобным для всех. Это более 800 микросервисов и 42,3 млн пользователей в месяц. Такси — это сложные алгоритмы поиска водителей, продуктовый подход к разработке и высокая нагрузка на сервисы. Одним из продуктов компании является такси для бизнеса. С 2017 года развивают направление беспилотных автомобилей.
В Такси есть три основных направления разработки, где собрано много различных команд с совершенно разными задачами и интересными челленджами.
В августе 2020 года был запущен Яндекс Go, объединивший сразу несколько сервисов Яндекса, кроме онлайн-заказа такси, приложение объединяет сервисы каршеринга, заказ еды, экспресс-доставку продуктов, отслеживание движения общественного транспорта и грузоперевозок.