📍 Москва (м. Новослободская)Можно удалённо из РФ
Специализация
Data Science / Machine Learning
Технологии/инструменты
SQLDDLHivePostgreSQLSparkScalaETLAirFlowOozieLuigiNiFiFlinkCron
Билайн — технологичная компания, объединяющая более 3000 ИТ и дата сотрудников.
Мы создаем продукты и удобные решения для внутренних и внешних пользователей в области Big Data, IT, безопасности, облачных технологий, интернета вещей и рекламных инструментов.
Наши проекты
У нас все организовано в виде продуктов, имеющих бесконечный срок жизни. Продуктов очень много — несколько сотен.
Если делить их по группам — получится так:
Клиентский опыт:
- Обобщаем все клиентские взаимодействия с компанией в одну историю, под одним универсальным идентификатором.
- Прогнозируем и корректируем общую выручку от клиента на всем периоде жизни с компанией.
- Боремся с фродом на стороне клиентских устройств сотовой связи.
- Предсказываем отток и next-best-action для клиентов.
Управление оборудованием и качеством услуг связи:
- Собираем и анализируем метрики качества предоставления связи.
- Выполняем интеллектуальное планирование постройки базовых станций.
- Осуществляем предиктивное обслуживание оборудования.
Для продуктовых команд:
- Создаем для себя фреймворки и утилиты.
- Развиваем сервис мониторинга как единую точку сбора и просмотра метрик.
Стек команды
- Экосистема Hadoop — HDFS, YARN, Hive, HBase.
- ETL-процессы — Spark (Scala).
- Потоковая обработка — NiFi, Flink.
- Брокер сообщений — Kafka.
- Оркестрация ETL-процессов — AirFlow.
- СУБД — PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server.
- CI/CD — Gitlab.
Обязанности
- Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, Data Scientist-ами).
- Поиск и исследование источников данных для последующей интеграции.
- Оценка пригодности, качества исходных данных.
- Разработка ETL-процессов на Spark.
- Оркестрация ETL-процессов в AirFlow.
- Проектирование баз данных.
- Создание конвейеров данных NiFi.
Ожидания
- Опыт работы в таких областях как: коммуникационные технологии, безопасность, маркетинг и продажи, финансы.
- Знание SQL на уверенном уровне (в т. ч. DDL, табличные выражения, оконные функции).
- Опыт работы с Hive, PostgreSQL.
- Умение разрабатывать ETL-процессы Spark на Scala.
- Владение AirFlow или другими оркестраторами — Oozie, Luigi, ну или Сron.
- Опыт потоковой разработки конвейеров данных в NiFi или Flink.
- Умение проектировать базы данных.
Будет плюсом:
- Владение Python — в объеме, чтобы написать что-то, чтобы пользоваться AirFlow.
- Интерес к Flink.
- Понимание принципов работы реляционных СУБД и HDFS, колоночных и NoSQL СУБД.
Мы понимаем, что каждые DE индивидуален. Поэтому даем описание как бы выглядел идеальный кандидат. Все недостающие навыки можно подтянуть у нас.
Условия
- В компании существует и растет сообщество DE. Сейчас там около 300 человек с разным уровнем навыков от Junior до Senior. Инженеры помогают друг другу бороться с трудностями и развиваться, делятся друг с другом кодом, всякими лайфхаками.
- Периодически проводятся митапы по инфраструктурным и софтовым темам, где коллеги делятся опытом, помогают разобраться в востребованных темах.
- Мы готовы оплачивать любые активности по развитию и обучению — конференции, подписки, книги, курсы — все что помогает расти профессионально.
- Предлагаем всем удаленный формат работы, но можно и гибридный — в зависимости от того, как Вам более удобно.
Тамара Агафонова Recruiter
