Компания: Мегафон. Вакансия Python-разработчика уровня middle. Работа в офисе, Екатеринбург.
Обязанности:
- Проектировать, разрабатывать, оптимизировать и поддерживать ETL-процессы для загрузки данных из различных источников
- Управлять потоковой обработкой данных с использованием Apache Kafka
- Разрабатывать и оптимизировать структуры данных, схемы и запросы в PostgreSQL для операционных и транзакционных задач
- Строить, администрировать и настраивать ClickHouse-кластеры для обеспечения высокой производительности аналитических запросов на больших объёмах данных
- Разрабатывать и поддерживать решения на базе ClickHouse или связки PostgreSQL + ClickHouse
- Интегрировать данные между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры (API, очереди, S3)
- Осуществлять мониторинг производительности, отказоустойчивости и безопасности data pipeline и баз данных
- Автоматизировать процессы обработки данных и развертывания (CI/CD)
- Взаимодействовать с аналитиками, разработчиками и product owner'ами
- Устранять неисправности в pipeline данных и базах данных
Требования:
- Опыт работы с одним из языков программирования 2–3+ лет: Python (предпочтительно), Golang будет плюсом
- Опыт разработки и администрирования ClickHouse (движки таблиц, оптимизация запросов, кластеризация, репликация, шардирование)
- Глубокое понимание и практический опыт работы с Apache Kafka
- Опыт работы с PostgreSQL: сложные SQL-запросы, оптимизация производительности, понимание транзакций и репликации
- Понимание принципов построения ETL-процессов и знание SQL на продвинутом уровне
- Понимание принципов DevOps применительно к инфраструктуре данных: Docker, Kubernetes, Linux, CI/CD