Python-разработчик в отдел ML

Задачи

• Дорабатывать существующие проекты парсинга, создавать новые парсеры для различных источников, включая конкурентов.
• Организовывать хранение данных парсинга и работа с ETL-процессами.
• Агрегировать и обрабатывать данные.

Требования

• Умение работать с технологиями парсинга сайтов для автоматизации сбора данных.
• Знание Python, коммерческий опыт от 2 лет (в идеале Python Asyncio).
• Опыт разработки парсеров для высоконагруженных проектов, обход блокировок по IP, прочих блокировок от парсинга.
• Многопоточный парсинг данных.
• Владение любым пакетом для создания интерфейсов (например, PyQt, wxPython, Tkinter, Kivy и т. п.).
• Веб-фреймворки (FastAPI), Airflow, CI/CD (Docker, Docker Compose).
• Парсинг (Selenium, Beautiful Soup 4, Scrapy), опыт обхода блокировок по IP/капчи.
• БД (SQL, PostgreSQL) — индексы, транзакции, понимание/опыт оптимизации сложных запросов, будет плюсом опыт использования различных ORM (SQLAlchemy и др.).
• Знание и понимание алгоритмов сопоставления текстовых данных (fuzzywuzzy).