Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.
Предлагаем присоединиться в роли Data Engineer и работать над проектом заказчика.
Заказчик - крупнейший коммерческий банк страны, лидер по объему активов и цифровому развитию. Активно продвигает мобильные сервисы, ценит скорость, гибкость и неформальный подход внутри команд. Многократно отмечен престижными наградами, в том числе «Bank of the Year in Russia 2019» (The Banker) и «Best Mortgage Bank in CEE» (Global Finance).
Требования:
- опыт работы в роли Data Engineer от 3-х лет;
- знание Python: написание скриптов для обработки данных, интеграций, автоматизации процессов;
- владение SQL: написание сложных запросов и оптимизации;
- опыт работы с Hadoop-экосистемой: HDFS, S3 или S3-совместимыми хранилищами;
- опыт работы с Apache Spark;
- использование Apache Airflow для оркестрации и мониторинга дата-пайплайнов;
- опыт работы с форматом Parquet и понимание преимущества колоночного хранения;
- опыт работы в Jira и Confluence (или аналогичных системах) для ведения задач и документации;
- опыт использования Git для контроля версий кода и конфигураций;
- понимание принципов CI/CD;
- умение работать с XML и JSON;
- навыки системного анализа;
- умение читать код;
- базовые знания работы с реляционными СУБД (РСУБД) (SQL-запросы, индексы, понимание JOIN);
- базовое понимание Kafka.
Обязанности:
- сопровождать и анализировать существующие процессы загрузки;
- разбирать технические контроли качества данных;
- тестировать и устанавливать доработки в продуктивный контур;
- контролировать качество данных для департамента продвинутой аналитики.