Развитие классификатора данных для полей баз данных: улучшение существующей модели RandomForest, обучение распознаванию новых типов данных, повышение качества классификации и обработка колонок со смешанными данными. Оптимизация модели для быстрого инференса на CPU при сканировании баз данных объемом в несколько ТБ.
Разработка и обучение NER-модели для обнаружения персональных данных в неструктурированном тексте. Работа с TXT, DOCX, PDF и логами, включая распознавание текста; создание пайплайнов очистки и нормализации шумных данных.
Требования: от 3 лет опыта разработки и внедрения ML-моделей в production; опыт полного цикла ML — от исследования и постановки задачи до мониторинга качества и автоматического ретренинга. Готовность возглавить направление, декомпозировать бизнес-задачи и отвечать за результат.
Уверенное владение Python, pandas, numpy и scikit-learn; знание классических ML-алгоритмов, включая деревья решений, ансамбли и Random Forest, интерпретация результатов и подбор гиперпараметров. Практический опыт с Hugging Face Transformers и/или spaCy, обязательный опыт обучения NER-моделей. Опыт обработки неструктурированных данных и Feature Engineering для табличных данных.
Опыт оптимизации инференса на CPU и работы с большими объемами данных. Развертывание моделей через API с FastAPI, контейнеризация с Docker. Владение MLflow и DVC, понимание CI/CD, опыт мониторинга качества моделей, Model Drift, Quality Gates и организации автоматического ретрейнинга.
Будет плюсом: опыт классификации и профилирования данных БД, распознавания VIN, номеров карт и крипто-адресов, работы в сфере защиты персональных данных, обезличивания данных или антифрода.
Условия: удаленная работа из РФ, долгосрочный проект, полная занятость, оформление по договору с ИП. Возможность влиять на архитектуру AI-продукта с нуля, работа с Big Data объемом от нескольких ТБ, современный стек и отсутствие легаси.