Ключевые задачи:
- Развивать классификатор данных для полей БД на основе Random Forest: находить персональные данные, распознавать новые типы данных, повышать качество классификации и обрабатывать смешанные данные в колонках.
- Оптимизировать модель для быстрого инференса на CPU при полном сканировании баз данных объемом в несколько ТБ.
- Разрабатывать и обучать NER-модель для поиска персональных данных в произвольном тексте.
- Обрабатывать TXT, DOCX, PDF, включая распознавание текста, и логи; создавать пайплайны очистки и нормализации данных.
- Самостоятельно декомпозировать бизнес-задачи, вести направление и отвечать за результат.
Требования:
- От 3 лет опыта разработки и внедрения ML-моделей в production; опыт полного цикла — от исследования до мониторинга качества и автоматического ретренинга.
- Уверенное владение Python, pandas, NumPy и scikit-learn; понимание классических ML-алгоритмов, Feature Importance и подбора гиперпараметров.
- Практический опыт с Hugging Face Transformers и/или spaCy; обязателен опыт обучения NER-моделей.
- Опыт построения пайплайнов для неструктурированных данных и Feature Engineering для табличных данных.
- Опыт оптимизации инференса на CPU, работы с большими объемами данных, развертывания моделей через API и контейнеризации.
- Знание FastAPI, Docker, MLflow или DVC, CI/CD; опыт мониторинга качества моделей, Model Drift, Quality Gates и организации автоматического ретренинга.
Будет плюсом: опыт создания классификаторов для профилирования данных БД, распознавания VIN, номеров карт и криптоадресов; опыт в защите персональных данных, обезличивании данных или антифроде.
Условия: удаленная работа, полная занятость, долгосрочный проект, оформление по договору с ИП. Возможность влиять на архитектуру сложного AI-продукта с нуля, работа с Big Data объемом TB+ и современный стек без легаси.