Компания больше не ищет сотрудника. Посмотрите похожие предложения
Разработчик SQL-подсистемы (YT)
в Яндекс (Поисковый портал)
300 000 — 500 000 ₽/мес на руки
Технологии/инструменты
Сервисы Яндекса порождают огромные объёмы данных, которые хранятся и обрабатываются на кластерах из десятков тысяч машин под управлением YT. Большая часть этих данных служит для регулярной и ad-hoc-аналитики пользовательских сессий, подсчёта статистики посещений и иных сценариев.
В современном мире большие данные зачастую анализируются с помощью различных диалектов SQL — достаточно гибкого инструмента, который позволяет разработчикам думать о том, что нужно, а не о том, как это получить.
SQL-подобные движки применяются для вычислений в самых разных частях YT. Для ad-hoc-аналитики и регулярных расчётов очень больших данных используется YQL. Для реактивного построения выжимок и BI-витрин — вычислительный движок ClickHouse поверх данных в YT. Для OLAP-запросов к динамическим таблицам YT, высокопроизводительным транзакционным key-value-хранилищам, — собственная вариация языка SQL.
Многообразие SQL-инструментов порождает инфраструктурные задачи, которые нужно решать:
- Построение единого SQL-окна — интерфейса, позволяющего единообразно использовать разные SQL-движки, встроенные в YT.
- Унификация возможностей разных движков (интеграция динамических таблиц YT с YQL или ClickHouse в качестве вычислительного примитива).
- Построение системы потоковой обработки данных на одном из SQL-диалектов.
- Сравнение возможностей разных движков и изучение доступных на рынке SQL-движков для унификации, расширения возможностей или потенциального внедрения (например, Spark SQL).
Мы ищем разработчика, который поможет нам с решением этих и других задач.
Что нужно делать
- Изучать разные SQL-диалекты обработки данных.
- Разбираться в сторонних кодовых базах.
- Развивать систему выполнения запросов, интегрированную с различными движками.
- Обобщать, унифицировать, интегрировать разные системы друг с другом.
- Разрабатывать новые вычислительные примитивы на основе существующих систем исполнения SQL-запросов.
- Поддерживать интерфейсы работы с данными, которыми будут каждый день пользоваться тысячи пользователей внутренних инсталляций YT, а также опенсорсных on-premise-инсталляций.
Мы ждем, что вы
- Готовы писать основной код на C++, а тесты, скрипты — на Python.
- Можете подключиться к серверу по SSH и прочитать логи вашего приложения.
- Имеете опыт работы от 3-х лет.
Будет плюсом, если вы:
- Представляете устройство распределённых RDBMS (ClickHouse, Spark SQL, Hive SQL).
- Работали с SQL.
- Разрабатывали сетевые, многопоточные и асинхронные приложения.
Наши преимущества
- Возможность работать над сложным и высоконагруженным инфраструктурным компонентом.
- Команда увлечённых коллег, которые любят вызовы и готовы делиться знаниями.
- Возможность работать над проектом, который скоро станет опенсорсным.
О компании Яндекс (Поисковый портал)
Яндекс — одна из крупнейших ИТ-компаний в России. Мы развиваем самую популярную в стране поисковую систему и создаём сервисы, которые помогают людям в повседневных делах. С их помощью можно искать информацию в интернете, слушать музыку, выбирать товары и места, заказывать еду, перемещаться по городу и делать многое другое. Яндекс предлагает также продукты для бизнеса.