Вакансия: Senior Data Platform Engineer (Real-time Streaming)
Компания: Lagrange Labs
Условия: Full-time, Remote, работа с High-load данными
Задачи:
- Проектирование и эксплуатация платформы обработки данных реального времени для индексации мультичейн-событий.
- Построение высокопроизводительных стриминг-пайплайнов на базе Apache Kafka и Apache Flink / Spark Streaming.
- Оптимизация хранилищ данных (ClickHouse, PostgreSQL) для быстрой аналитической обработки и отдачи состояния ZK-пруверам.
- Разработка и поддержка коннекторов к блокчейн-нодам (Ethereum, L2s) для захвата данных в реальном времени (CDC).
- Обеспечение консистентности и точности данных (Data Quality) в условиях высокой волатильности блокчейн-сетей (обработка реоргов).
- Масштабирование инфраструктуры данных в Kubernetes (EKS/GCP) и настройка мониторинга (Prometheus/Grafana).
- Взаимодействие с командами протокола и аналитики для обеспечения минимальной задержки (low latency) данных.
Требования:
- Опыт работы в Data Engineering / Infrastructure от 5 лет.
- Экспертное владение инструментами стриминга (Kafka, Flink/Spark) и понимание семантики exactly-once.
- Глубокие знания распределенных систем и баз данных (ClickHouse, Druid или аналоги).
- Уверенное владение Java, Scala или Python.
- Опыт работы с облачной инфраструктурой и IaC (Terraform, Kubernetes).
- Понимание специфики блокчейн-данных (блоки, транзакции, логи событий, JSON-RPC).
- Английский язык: Upper-Intermediate (активная техническая коммуникация).
Будет плюсом:
- Опыт построения систем индексации блокчейнов (с нуля или на базе существующих решений).
- Понимание концепций ZK-Rollups и передачи сообщений между сетями.
- Опыт работы в проектах с Big Data (PB-scale).