📍 Москва (м. Парк культуры)Санкт-Петербург (м. Площадь Ленина)Ереван (Армения)Астана (Казахстан)Белград (Сербия)Самостоятельный переезд
Сервисы Яндекса порождают огромные объёмы данных, которые хранятся и обрабатываются на кластерах из десятков тысяч машин под управлением YT. Большая часть этих данных служит для регулярной и ad-hoc-аналитики пользовательских сессий, подсчёта статистики посещений и иных сценариев.
Различные SQL-подобные движки применяются для вычислений в самых разных частях YT. Многообразие SQL-инструментов порождает инфраструктурные задачи, которые нужно решать:
- Построение единого SQL-окна — интерфейса, позволяющего единообразно использовать разные SQL-движки, встроенные в YT.
- Унификация возможностей разных движков (интеграция динамических таблиц YT с YQL или ClickHouse в качестве вычислительного примитива).
- Построение системы потоковой обработки данных на одном из SQL-диалектов.
- Сравнение возможностей разных движков и изучение доступных на рынке SQL-движков для унификации, расширения возможностей или потенциального внедрения (например, Spark SQL).
Технологии/инструменты
C++SQLClickHousePython
Что нужно делать
- Изучать разные SQL-диалекты обработки данных.
- Разбираться в сторонних кодовых базах.
- Развивать систему выполнения запросов, интегрированную с различными движками.
- Обобщать, унифицировать, интегрировать разные системы друг с другом.
- Разрабатывать новые вычислительные примитивы на основе существующих систем исполнения SQL-запросов.
- Поддерживать интерфейсы работы с данными, которыми будут каждый день пользоваться тысячи пользователей внутренних инсталляций YT, а также опенсорсных on-premise-инсталляций.
Мы ждем, что вы
- Готовы писать код на C++.
- Имеете коммерческий опыт от 3 лет.
Будет плюсом, если вы:
- Представляете устройство распределённых RDBMS (ClickHouse, Spark SQL, Hive SQL).
- Работали с SQL.
- Разрабатывали сетевые, многопоточные и асинхронные приложения.
Евгений Смирнов Talent Associate
