Data Engineer Senior

Карьера в IT_ONE Другие вакансии Ссылка скопирована

Разработка программного кода Создание технической документации на стадии разработки

Обязанности

Обязанности
Разработка и интеграция:
• Разработка, реализация и поддержка типовых интеграционных решений на стеке Java, Groovy, Apache Nifi, Airflow.
• Разработка и поддержка ETL/ELT-пайплайнов (сбор из источников, очистка, преобразование и загрузка).
• Интеграция с источниками данных (API, базы данных, файлы, стриминг, очереди) и настройка надежного получения данных.
• Автоматизация регулярных загрузок.
Работа с данными и хранилищами:
• Работа с хранилищами данных: проектирование и доработка таблиц, витрин, схем.
• Поддержка DWH, data lake, data mart.
• Обработка неполных, дублированных или неконсистентных данных.
• Контроль качества (data quality checks), проверка полноты и актуальности данных.
Поддержка и оптимизация:
• Оперативное реагирование на проблемы и выполнение задач в установленный срок.
• Поддержка и мониторинг пайплайнов, отслеживание падений джоб, анализ логов и исправление сбоев.
• Оптимизация производительности: улучшение скорости обработки, снижение стоимости вычислений, оптимизация SQL-запросов.
Документация и отчетность:
• Поддержание в актуальном состоянии документации типовых интеграционных решений платформы Big Data.
• Описание логики пайплайнов и поддержка технической документации.
• Предоставление отчетности о деятельности руководству.
Командная работа:
• Взаимодействие с аналитиками, разработчиками, ML-инженерами и DevOps.
• Уточнение требований к данным, участие в оценке задач и передача знаний команде.

Обязательные требования

Навыки и опыт
Технологии Big Data:
• Общее представление о стеке технологий Big Data и понимание отличий от работы с данными обычного размера.
• Представление о работе с Hadoop (устройство HDFS, форматы данных).
• Понимание работы с Hive или другими хранилищами на основе Hadoop.
Работа с БД и SQL:
• Знание SQL (индексы, функции, умение писать несложные запросы).
• Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.).
Инструменты и языки:
• Знание основ программирования (JAVA, Groovy, Python).
• Опыт работы с графическими ETL-инструментами (Apache Nifi, Airflow, Talend, Informatica, SAS и т.п.).
• Умение работать с Git (команды pull/commit/push).
Процессы:
• Опыт использования систем ведения проектов и документации.

Будет плюсом

Расположение

Remote work

тип работы

Data Modeling

Номер вакансии

VR-71431

язык

English: A2 Elementary

Опыт работы

Senior

откликнуться

Data Engineer Senior, Remote work

ПРИКРЕПИТЬ ФАЙЛ Нажимая «Отправить», я подписываю соглашение об использовании простой электронной подписи для подписания документов, связанных с обработкой моих персональных данных.

Я даю согласие на обработку персональных данных в целях потенциального партнерства. С Политикой обработки персональных данных можно ознакомиться здесь.

Я даю согласие ООО «ИТ1» и компаниям на направление мне маркетинговых материалов и коммерческих предложений. Проставляя галочку, я также даю согласие на обработку персональных данных в указанных целях.

Я даю согласие на обработку персональных данных в целях потенциального трудоустройства. С Политикой обработки персональных данных можно ознакомиться здесь.

Я даю согласие на обработку персональных данных в целях включения в кадровый резерв. С Положением о кадровом резерве можно ознакомиться здесь.

Отправить

Работа у нас — это:

ДМС и страхование жизни

Корпоративные мероприятия

Культура обратной связи

Внутренняя ротация и ежегодная оценка

наставничество и менторство

обучение, повышение квалификации

Индивидуальный план развития

Реферальная программа

Внутренние IT-сообщества

Наши Вакансии

Похожие вакансии

Дата аналитик/Дата инженер

Data Modeling Moscow

Приглашаем на работу IT специалистов в нашу большую команду для работы на проектах для крупнейшего российского банка из списка топ-3. Наш проект направлен на развитие web версии системы CRM Infor. Цель проекта: Систематизация и цифровизация клиентской ...

Подробнее

Младший Data Engineer / Data Analyst

Data Modeling Moscow

Мы набираем IT специалистов в большую команду для работы на проектах для крупного и динамичного российского банка по разработке и развитию различных систем. Мы ищем единомышленника, который присоединится к нашей команде в качестве data аналитика для ра...

Подробнее

Возврат к списку

{"SESS_AUTH":{"POLICY":{"SESSION_TIMEOUT":24,"SESSION_IP_MASK":"0.0.0.0","MAX_STORE_NUM":10,"STORE_IP_MASK":"0.0.0.0","STORE_TIMEOUT":525600,"CHECKWORD_TIMEOUT":2880,"PASSWORD_LENGTH":6,"PASSWORD_UPPERCASE":"N","PASSWORD_LOWERCASE":"N","PASSWORD_DIGITS":"N","PASSWORD_PUNCTUATION":"N","PASSWORD_CHECK_WEAK":"N","PASSWORD_CHECK_POLICY":"N","PASSWORD_CHANGE_DAYS":0,"PASSWORD_UNIQUE_COUNT":0,"LOGIN_ATTEMPTS":0,"BLOCK_LOGIN_ATTEMPTS":0,"BLOCK_TIME":0}},"SESS_IP":"10.0.136.6","SESS_TIME":1779091220,"IS_EXPIRED":null,"BX_SESSION_SIGN":"fbcfb83542b61e760470d4966c9115e4","fixed_session_id":"e6b175a8766b826b3a4abff11eab4dc0","SESS_SHOW_INCLUDE_TIME_EXEC":null,"IBLOCK_COUNTER":[46374]}

обсудить сотрудничество

Стоимость оказываемых услуг, выполненных работ, предоставленных прав на объекты интеллектуальной собственности рассчитываются индивидуально в зависимости от технологических потребностей и запросов заказчика.

хочу стать клиентом хочу работать у вас хочу стать партнером хочу стать клиентом хочу работать у вас хочу стать партнером Выберите вакансию

Отправить

Заказать услугу

Нажимая «Заказать услугу», я даю свое согласие на обработку персональных данных ООО «ИТ1» и его Аффилированным лицам в целях заключения договора на оказание услуг.

Отправить

Согласие

Спасибо за интерес к компании IT_One! Для подписания согласия на обработку персональных данных введите код, направленный на вашу электронную почту

Подтвердить почту

Заявка на сотрудничество отправлена!

Мы свяжемся с вами, если оно соответствует требованиям вакансии

на главную

Продолжая использовать сайт, вы соглашаетесь на обработку файлов cookie и c Политикой обработки персональных данных

соглашаюсь

Data Engineer Senior

Job description

Match