Проект: Банк. Репликация данных из источников в распределенный облачный кластер и индексирование данных для обработки запросов в режиме реального времени.
Требования:
- Базовый уровень знания Java (циклы, условия, хешмапы и т.д.)
- Базовый уровень знания и понимание CI/CD
- Linux (basic), Ansible, SQL, Git, XML, JSON, XSLT, YAML
- Базовые знания экосистемы Hadoop и его компонентов: Apache Solr, Apache Hive, Apache HBase, Apache Spark, Apache Zookeeper, Apache Oozie, Apache Camel
- Английский — технический (чтение документации)
Задачи команды:
- Репликация и индексирование данных из различных источников (в основном Apache Hive) в распределенный облачный кластер (тоже Apache Hive)
- Обработка запросов в режиме реального времени через REST или брокеры сообщений (Kafka или IBM MQ)
Условия: удаленно (с возможностью приехать в Москву на 1 день для оформления в штат банка); фуллтайм.