Компания больше не ищет сотрудника. Посмотрите похожие предложения
Технический менеджер продукта (Хранение и обработка данных)
в Yandex Infrastructure
300 000 — 450 000 ₽/мес на руки
Технологии/инструменты
Яндекс — одна из немногих компаний в мире, оперирующих экзабайтами данных, которые нужно уметь эффективно хранить, обрабатывать и передавать между различными системами. Для решения этих задач мы создали и развиваем распределённую платформу хранения и обработки данных YTsaurus. Недавно мы выложили код платформы в открытый доступ. Практически каждый сервис Яндекса использует её для хранения и обработки данных.
Одной из важных частей YTsaurus является SPYT — Apache Spark в качестве compute-движка поверх данных в YTsaurus. SPYT активно используют внешние и внутренние сервисы (например, для запуска ETL-процессов и Ad-hoc аналитики).
Отличительная особенность SPYT — глубокая интеграция между Apache Spark и YTsaurus, которая позволяет учитывать метаданные для эффективной обработки. Так, SPYT поддерживает транзакции YTsaurus и применяет знание о сортировке таблиц для исключения shuffle-фазы при выполнении операции JOIN. Помимо этого SPYT использует YTsaurus в качестве среды исполнения для запуска кластеров Spark в облачной манере, благодаря чему в YTsaurus одновременно могут работать десятки кластеров SPYT.
Мы ищем технического менеджера проектов, который поможет нам развивать SPYT и будет заниматься сложными и амбициозными задачами.
Мы — команда увлечённых людей, любим вызовы и готовы делиться знаниями. Приходите, если вам интересно развивать высоконагруженный инфраструктурный сервис и популяризовать YTsaurus как опенсорс-продукт.
Примеры вызовов, которые стоят перед нами
- Сделать SPYT инструментом номер один для ETL- и ELT-процессов поверх YTsaurus.
- Выстроить процесс поддержки и обмена опытом пользователей SPYT внутри Яндекса.
- Исследовать современные практики использования Apache Spark on-premise и в облаках и применять их в SPYT.
Что вам предстоит делать
- Вести внутренние инфраструктурные проекты, а в перспективе отвечать за один из ключевых для компании инфраструктурных сервисов.
- Участвовать в интеграционных проектах вместе с несколькими командами разработки, эксплуатации и тестирования.
- Общаться с внутренними пользователями и участвовать в формировании лучших практик использования инфраструктуры.
- Управлять процессом разработки и отвечать за его соответствие планам и требованиям.
- Критически анализировать рабочие процессы, находить проблемные места, предлагать и внедрять улучшения.
- Плодотворно сотрудничать с разработчиками и пользователями инфраструктуры.
Мы ждем, что вы
- Управляли проектами и продуктами.
- Работали с командой разработчиков.
- Непосредственно разрабатывали программное обеспечение.
- Умеете расставлять приоритеты и решать задачи в срок.
- Умеете управлять обсуждениями и фиксировать результаты.
- Составляли FAQ и пользовательскую документацию.
- Точно и внятно выражаете свои мысли устно и письменно, разговариваете с разработчиками на одном языке.
- Коммуникабельны.
- Получили высшее техническое или математическое образование.
- Понимаете основные принципы построения распределённых систем хранения и обработки данных, работали с Hadoop, Spark или другими распределёнными системами.
- Пишете на Python или любом другом языке программирования.
- Умеете писать SQL-запросы.
- Последний год работали в аналогичной должности.
О компании Yandex Infrastructure
Команда Yandex Infrastructure создаёт и предоставляет внутреннюю инфраструктуру Яндекса — фундамент из продуктов и технологий, на базе которого тысячи инженеров разрабатывают, деплоят и эксплуатируют основные сервисы Яндекса: Поиск, Такси, Маркет, Алису, Кинопоиск и многие другие.