Разработчик платформы управления данными (Суперапп Яндекс Go)

Какие задачи вас ждут

• Разработка и поддержка коннекторов к различным хранилищам и источникам данных.

Apache Flink прекрасно интегрируется с различными системами за счёт механизма коннекторов. Вашей задачей станет разработка таких коннекторов, которые работают в высоконагруженной распределённой системе и обрабатывают сотни мегабайт данных в секунду.

• Развитие инфраструктурных сервисов платформы потоковой обработки данных.

Наша платформа включает в себя ряд сервисов, которые контролируют множество кластеров Apache Flink и управляют ими. Эти сервисы следят за процессом выполнения различных поставок и выполняют их обслуживание, чтобы минимизировать задержки данных.

• Развитие DSL для дата-инженеров.

DSL написан на Python и максимально упрощает процесс написания поставок. Также он интегрирует PyFlink с нашим ETL-фреймворком.

• Разработка и поддержка CI/CD-пайплайнов.

Мы самостоятельно разрабатываем CI/CD, который позволяет собирать и выкатывать кластеры Apache Flink, коннекторы, форматтеры и пользовательские преобразования.

Мы ждем, что вы

• Уверенно программируете на Java.
• Знакомы с Python или готовы с ним работать.
• Разрабатывали приложения на Spring.
• Готовы осваивать новые технологии и фреймворки.
• Умеете и любите писать чистый код, покрывать его тестами и проводить рефакторинг.
• Понимаете, зачем нужны непрерывная интеграция и непрерывная доставка (CI/CD), Git и код-ревью.
• Имеете опыт работы от 3 лет.

Будет плюсом, если вы

• Работали с инструментами обработки больших данных: экосистемой Hadoop, Spark, ClickHouse, Greenplum и другими аналитическими MPP-БД.
• Разрабатывали и проектировали распределённые системы — наша инфраструктура должна базироваться в нескольких дата-центрах.
• Проектировали хранилища данных или поставку данных в них.
• Проектировали и разрабатывали процессы обработки сложных событий (CEP) в почти реальном времени на Flink, Spark Streaming, Kafka Streams.
• Работали со стриминговыми платформами, например с AWS Kinesis, Apache Kafka, Azure Event Hubs, понимаете, как они устроены и зачем нужны.

Условия

Высокий совокупный доход

• Премии каждые полгода для всех, кто успешно прошёл ревью.

Офисы, в которые хочется ходить

• В офисах есть всё, что нужно для комфортной работы: удобные рабочие зоны, уютные места для отдыха, кофепойнты для спокойных перерывов.
• В офисах в Москве, Санкт-Петербурге, Екатеринбурге, Новосибирске, Казани и Нижнем Новгороде есть тренажёрные залы со всем необходимым.

Расширенная медицинская страховка

Начинает работать с первого месяца. В неё входят:

• Плановая и неотложная помощь, стоматология, расширенный превентивный чекап, телемедицина 24/7.
• Психотерапия в онлайн-сервисах наших партнёров.
• После года работы добавляется лазерная коррекция зрения, после двух — ведение беременности и роды.

Также мы покрываем 80% стоимости ДМС для супругов и детей.

Возможности для роста

• Есть всё, чтобы учиться: внутренняя платформа с 100+ курсами, менторство и программы для руководителей.
• Оплачиваем участие в профильных конференциях и помогаем подготовиться к публичным выступлениям.
• Если для работы нужен иностранный язык, поможем организовать обучение и оплатим 50% стоимости.

И ещё

• Делаем закрытые мероприятия: вечеринки, фестивали и другие ивенты.
• В Яндексе много клубов по интересам, Random Coffee, сервисы для знакомств и взаимопомощи. А наши спортивные клубы регулярно участвуют в забегах, триатлонах и других соревнованиях.
• На портале скидок масса специальных предложений для сотрудников от наших партнёров.