Вакансия в архиве
Компания больше не ищет сотрудника. Посмотрите похожие предложения

Разработчик SQL-подсистемы (YT)

в Яндекс (Поисковый портал)

300 000 —‍ 500 000 ₽/мес на руки

📍 Санкт-Петербург (м. Площадь Ленина)Москва (м. Парк культуры)НовосибирскЕкатеринбургНижний НовогородЕреван (Армения)Белград (Сербия)Астана, Алматы (Казахстан)Самостоятельный переезд

Специализация

C++

Уровень

Middle-to-Senior

Сервисы Яндекса порождают огромные объёмы данных, которые хранятся и обрабатываются на кластерах из десятков тысяч машин под управлением YT. Большая часть этих данных служит для регулярной и ad-hoc-аналитики пользовательских сессий, подсчёта статистики посещений и иных сценариев.

В современном мире большие данные зачастую анализируются с помощью различных диалектов SQL — достаточно гибкого инструмента, который позволяет разработчикам думать о том, что нужно, а не о том, как это получить.

SQL-подобные движки применяются для вычислений в самых разных частях YT. Для ad-hoc-аналитики и регулярных расчётов очень больших данных используется YQL. Для реактивного построения выжимок и BI-витрин — вычислительный движок ClickHouse поверх данных в YT. Для OLAP-запросов к динамическим таблицам YT, высокопроизводительным транзакционным key-value-хранилищам, — собственная вариация языка SQL.

Многообразие SQL-инструментов порождает инфраструктурные задачи, которые нужно решать:

Построение единого SQL-окна — интерфейса, позволяющего единообразно использовать разные SQL-движки, встроенные в YT.
Унификация возможностей разных движков (интеграция динамических таблиц YT с YQL или ClickHouse в качестве вычислительного примитива).
Построение системы потоковой обработки данных на одном из SQL-диалектов.
Сравнение возможностей разных движков и изучение доступных на рынке SQL-движков для унификации, расширения возможностей или потенциального внедрения (например, Spark SQL).

Мы ищем разработчика, который поможет нам с решением этих и других задач.

Технологии/инструменты

PythonC++SSH

Что нужно делать

Изучать разные SQL-диалекты обработки данных.
Разбираться в сторонних кодовых базах.
Развивать систему выполнения запросов, интегрированную с различными движками.
Обобщать, унифицировать, интегрировать разные системы друг с другом.
Разрабатывать новые вычислительные примитивы на основе существующих систем исполнения SQL-запросов.
Поддерживать интерфейсы работы с данными, которыми будут каждый день пользоваться тысячи пользователей внутренних инсталляций YT, а также опенсорсных on-premise-инсталляций.

Мы ждем, что вы

Готовы писать основной код на C++, а тесты, скрипты — на Python.
Можете подключиться к серверу по SSH и прочитать логи вашего приложения.
Имеете опыт работы от 3-х лет.

Будет плюсом, если вы:

Представляете устройство распределённых RDBMS (ClickHouse, Spark SQL, Hive SQL).
Работали с SQL.
Разрабатывали сетевые, многопоточные и асинхронные приложения.

Наши преимущества

Возможность работать над сложным и высоконагруженным инфраструктурным компонентом.
Команда увлечённых коллег, которые любят вызовы и готовы делиться знаниями.
Возможность работать над проектом, который скоро станет опенсорсным.

Арина Гробылева Tech IT Recruiter

О компании Яндекс (Поисковый портал)

Сфера

Продуктовая компания

Инвестиции

$100M+

Размер

1001+

Яндекс — одна из крупнейших ИТ-компаний в России. Мы развиваем самую популярную в стране поисковую систему и создаём сервисы, которые помогают людям в повседневных делах. С их помощью можно искать информацию в интернете, слушать музыку, выбирать товары и места, заказывать еду, перемещаться по городу и делать многое другое. Яндекс предлагает также продукты для бизнеса.