Главный разработчик ML / MLOps

Мы развиваем ML-платформу прогнозирования спроса для федеральной розничной сети. Работаем с большими объемами данных: отдельные расчеты обрабатывают терабайты, а общий объем данных платформы измеряется петабайтами.

Расчетный контур построен на Apache Spark и Kubernetes, оркестрация на Apache Airflow, данные храним в S3 и Delta Lake. Для разработки и автоматизации используем Python и GitLab CI/CD.

Ищем инженера, которому интересно развивать ML-платформу, автоматизировать процессы и решать задачи на стыке разработки и инфраструктуры. У нас можно влиять на технические решения, повышать надежность платформы и развивать внутренние инструменты.

Задачи

• развивать и автоматизировать процессы запуска и эксплуатации приложений в Kubernetes
• диагностировать сбои, разбираться в проблемах с ресурсами, конфигурациями и производительностью приложений
• развивать CI/CD, автоматизировать развертывание и поставку изменений между DEV, UAT и PROD
• разрабатывать и развивать внутренние инструменты ML-платформы на Python
• улучшать мониторинг, логирование и диагностику, повышать стабильность и надежность расчетного контура
• участвовать в развитии расчетных пайплайнов на Spark и Airflow, интеграции новых ML-алгоритмов и изменений от Data Science в production

Требования

• уверенное знание Python и опыт промышленной разработки
• практический опыт работы с Kubernetes и Docker, включая развертывание и диагностику приложений
• уверенное владение Linux, понимание сетевого взаимодействия и управления ресурсами
• опыт работы с CI/CD и автоматизации сборки и развертывания приложений
• понимание принципов работы распределенных систем
• опыт диагностики и устранения проблем в production-системах

Будет плюсом

• опыт работы с Apache Spark / PySpark, особенно в Kubernetes
• опыт работы с Apache Airflow или другими системами оркестрации
• опыт работы с Helm, Terraform, Argo CD или аналогичными инструментами
• опыт работы с S3, Delta Lake и SQL
• опыт работы с Grafana, Prometheus, Loki и другими инструментами мониторинга и логирования
• опыт разработки и эксплуатации промышленных ML-систем

Мы предлагаем

• Оформление в аккредитованную ИТ-компанию
• Конкурентоспособную заработную плату (обсуждается индивидуально)
• ДМС со стоматологией и льготными условиями для членов семьи
• Технику для работы
• График работы 5/2
• Работу в максимально уютном офисе в центре Москвы (ст. м. Савеловская), в Краснодаре или удаленно из других городов РФ, так же есть офисы в Санкт-Петербурге (ст. м. Балтийская) и в Иннополисе
• Возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах
• Развитие – мы оплачиваем обучение на курсах и участие в конференциях
• Возможность проведения и участия в митапах, хакатонах, где есть возможность познакомиться с работой других подразделений
• Наличие корпоративных скидок PRIMEZONE и программ лояльности от компании
• Наличие корпоративной библиотеки курсов
• Возможность рекомендовать компанию своим друзьям, участвуя в реферальной программе