YT — основная платформа для аналитики и построения batch-процессов в Яндексе, которая включает несколько видов хранилищ, планировщик ресурсов и встроенный MapReduce-движок. Apache Spark — популярный открытый фреймворк для распределённой обработки больших данных.
Мы интегрируем Spark и YT с 2020 года и уже рассказывали об этом на конференции Highload++ 2021. Сейчас Spark-over-YT используют десятки инженеров данных Яндекса. Мы ищем сильного разработчика, которому интересно заниматься распределёнными системами и инфраструктурой обработки больших данных.
Наш стек:
Будет плюсом:
Яндекс — одна из крупнейших IT-компаний в России. Компания развивает самую популярную в стране поисковую систему и создаёт сервисы, которые делают жизнь людей более комфортной и яркой. Сервисы Яндекс помогают в повседневных делах в офлайне и онлайне. С их помощью можно искать информацию в интернете, слушать музыку, выбирать товары и места, заказывать еду, перемещаться по городу и делать многое другое. Яндекс предлагает также продукты для рекламодателей и владельцев бизнеса.