Top Selection ищет Senior Data Engineer для работы на проекте в ритейле. Оформление: только ИП.

Занятость: Fulltime. Формат работы: Удалённый.

Обязанности:

  • Проектирование, разработка и сопровождение стриминговых пайплайнов;
  • Реализация бизнес‑логики и трансформаций во Flink/Spark/Java в режиме стрима;
  • Инкрементальная загрузка и выкладка витрин (dbt/Trino/Iceberg);
  • Проектирование хранения и партиционирования в data lake (колоночные форматы, снапшоты, Iceberg);
  • Построение надёжных схем доставки данных: семантики доставки, идемпотентность, обработка дупликатов;
  • Документирование архитектуры пайплайнов и участие в архитектурных решениях по платформе.

Требования:

  • Опыт со стриминговыми решениями или серьёзное стремление перейти в стриминг;
  • Технические навыки (один или несколько): Spark, Flink, ClickHouse, Kafka (преимущественно Flink);
  • Понимание форматов и концепций data lake (Iceberg, Parquet/ORC, снапшоты, инкременты);
  • Практический опыт хотя бы одной реализации: Kafka → обработка → S3/Iceberg (даже локально/в тестовом проекте);
  • Умение мыслить потоками данных: от события до витрины;
  • Софт‑скиллы: системное мышление, инициативность, готовность обсуждать архитектуру и учиться новым паттернам.

Плюсом:

  • Опыт работы с дашбордами/витринами через Trino/SQL/dbt.