Что делать?
- Разработка и поддержка ETL/ELT пайплайнов (Airflow, dbt, Spark );
- Интеграция данных из различных источников (PostgreSQL, MSSQL, Oracle, S3, API);
- Сбор данных из внешних источников (REST API, базовый web scraping);
- Участие в построении витрин данных (DDS, Data Marts, wide tables);
- Оптимизация SQL-запросов и обработок данных;
- Подготовка датасетов для ML моделей;
- Формирование feature store (под руководством Senior/DS);
- Подготовка данных для AI-сервисов;
- Подготовка данных для обучения и инференса моделей;
- Участие в ML pipeline (data preparation + scoring);
- Работа с потоками данных (Kafka — чтение/запись, без глубокой настройки);
- Участие в реализации событийных сценариев.
Если у вас:
- Опыт работы Data Engineer: 2+ года;
- Уверенное знание SQL (join, window functions, оптимизация базового уровня);
- Хорошее знание Python (pandas, работа с API, обработка данных;
- Опыт работы с Airflow;
- Базовый опыт работы с Spark или понимание его принципов;
- Опыт работы с реляционными БД (PostgreSQL, MSSQL или Oracle);
- Понимание ETL/ELT процессов;
- Опыт работы с API (интеграции, парсинг);
- Базовое понимание streaming (Kafka или аналоги);
- Понимание принципов DWH (DDS, Data Marts), Lakehouse;
- Опыт взаимодействия с аналитиками или ML-командой.
Ключевые навыки:
- SQL,Python,Airflow,ETL / ELT, Работа с API,Основы streaming (Kafka), Data Warehousing, Data pipelines.
Будет плюсом:
- Опыт работы с dbt;
- Базовое понимание Lakehouse (S3, Iceberg);
- Опыт работы с векторными БД;
- Опыт подготовки данных для ML;
- Знакомство с ML pipeline;
- Опыт работы с Grafana или аналогами;
- Опыт работы с неструктурированными данными;
- Знание основ Spark;
- Опыт работы с RAG / LLM (на уровне понимания).
Условия:
- Официальное трудоустройство в соответствии с Трудовым кодексом РК;
- График работы на выбор: 08:30–17:30 / 09:00–18:00 / 09:30–18:30;
- Ежегодный оплачиваемый отпуск — 28 календарных дней;
После прохождения испытательного срока:
- Кафетерий льгот на сумму 250 000 тг. в год (медицинское страхование, обучение, спорт, развитие детей, авиа- и ж/д билеты);
- 2 дополнительных дня Day Off в год;
Дополнительно:
- Лечебное пособие в размере одного оклада при выходе в отпуск (после 1 года работы, при отпуске от 14 дней).