📍 Москва (м. Технопарк)Можно удалённо из РФ
Специализация
Data Engineer
Технологии/инструменты
PythonSQLApache AirflowArgo WorkflowsPostgreSQLPySparkJupyterLab/JupyterHubETLFastAPIREST APIOracleParquetORCHadoopS3HiveIceberg
Обязанности
- Разработка платформ AutoML и AlfaPredict для автоматизации построения и сопровождения моделей машинного обучения.
- Анализ источников данных для их использования в моделях AutoML.
- Разработка сервисов и ETL-процессов обработки данных для их использования в моделях AutoML.
- Изучение и внедрение методов автоматизированного построения признаков (фичей) для моделей машинного обучения.
- Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.
Требования
- Высокий уровень знаний языка программирования Python — структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, ООП и функциональное программирование.
- Опыт работы в среде JupyterLab/JupyterHub.
- Опыт реализации промышленных отказоустойчивых сервисов на Python — ETL на Apache Airflow, Argo Workflows, веб-сервисы на FastAPI.
- Понимание принципов микросервисной архитектуры, распределённых и потоковых вычислений.
- Хорошие знания Apache Spark: опыт с PySpark, влияние конфигурации на производительность, отладка через Spark History Server.
- Опыт асинхронного взаимодействия с веб-сервисами по REST API с использованием aiohttp, HTTPX.
- Отличные знания SQL: сложные запросы с CTE и оконными функциями.
- Опыт работы с Oracle, PostgreSQL.
- Понимание OLAP, знание форматов хранения Parquet, ORC и отличий колоночных БД от строковых.
- Опыт использования Hadoop/HDFS, S3, Hive, Iceberg.
- Проактивность — способность и стремление находить и предлагать решения.
- Позитивный настрой и активная жизненная позиция.
- Командность, готовность делиться опытом и учиться новому.
- Открытость в коммуникации и готовность обсуждать трудности.
Будет дополнительным преимуществом
- Базовые знания Scala, Java, Groovy.
- Опыт с Apache Kafka, Apache Flink, включая библиотеки aiokafka, Confluent Kafka, Kafka Python.
- Знание основ NLP.
- Общее представление о нейросетях и больших языковых моделях (LLM).
Условия
- Работа в команде увлечённых профессионалов в атмосфере взаимопомощи и сотрудничества.
- Интересные и нетривиальные задачи.
- Участие в создании инновационного программного продукта.
- Оформление по ТК РФ.
- График 5/2 с возможностью частично или полностью удалённой работы.
- Достойная и полностью белая заработная плата (обсуждается индивидуально).
Анастасия Пономарева Recruiter