Data Engineer

Что нужно делать

• Интегрировать данные из систем источников в хранилища данных (ETL/ELT).
• Создавать и развивать хранилище для около риал-тайм данных (Postgres).
• Создавать и улучшать процессы обработки данных.
• Принимать участие в создании интеграций новых источников в DataLake.
• Принимать участие в архитектурных решениях.
• Разрабатывать процедуры формирования детального слоя данных и слоя витрин (GP, Postgres).
• Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus).
• Покрывать интеграции и расчеты витрин проверками качества данных.
• Документировать свою работу в Яндекс Вики.
• Работать в Яндекс Трекере.
• Работа с инцидентами в ITSM-инструменте.

Наши ожидания

• Знания принципов работы БД, построения ХД.
• Опыт разработки ETL-процессов (NiFi, Flink).
• Имеет опыт работы с системами контроля версий (Git).
• Опыт работы с высоконагруженными системами хранения и обработки данных.
• Отличное знание SQL, опыт оптимизации запросов (Greenplum, Postgres).
• Опыт самостоятельного ведения проектов.
• Опыт разработки на Python.
• Желание обучаться и развиваться.
• Понимание работы брокеров сообщений (Kafka).

Будет плюсом

• Опыт работы с ML-моделями (Kubernetes, Kuberflow).

Условия

• Гибкая система премирования.
• Расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания и оплата мобильной связи.
• Работа в компании с развитой инженерной культурой.
• Автономность работы, возможность менять правила, ошибаться и создавать новое.
• Возможность профессионального роста, программы развития для сотрудников.
• Корпоративное обучение и доступ к базе знаний.
• Внутренние профессиональные сообщества и мероприятия.
• Гибридный формат работы/удаленный формат работы.
• Современный офис в 2 минутах ходьбы от МЦК ЗИЛ.