Разработка высоконагруженных систем антифрод-скоринга в реальном времени. Работа на стыке Data Engineering, Backend и Machine Learning.
Стек: Spark, Hadoop, S3, Iceberg, Airflow; Python, FastAPI; MS SQL, Oracle, PostgreSQL; Redis, Apache Ignite, Tarantool; Kafka.
Обязанности:
- Разработка и развитие микросервисов и data-процессов для online/streaming и batch обработки
- Построение пайплайнов обработки, обогащения и репликации данных
- Создание витрин, агрегатов и ML-фичей для антифрод-моделей
- Работа с большими объёмами исторических данных и тяжёлыми расчётами
- Оптимизация производительности и надёжности сервисов и пайплайнов
Требования:
- Коммерческий опыт разработки на Python
- Опыт создания backend-сервисов и data-пайплайнов, понимание микросервисной архитектуры
- Опыт работы с большими объёмами данных, понимание batch и streaming обработки
- Опыт работы с реляционными и in-memory базами данных
- Понимание принципов работы ML-пайплайнов
- Будет плюсом: опыт в Anti-Fraud / Risk / Scoring, low-latency системах; Spark, Kafka, Tarantool или Ignite