Для таких объёмов подбираем алгоритмы и инфраструктуру, которые позволяют эффективно обрабатывать данные. Масштаб делает оптимизацию вычислений важной инженерной задачей. * Опираемся на готовые инструменты
Используем существующие решения для обработки данных и переиспользуем их в новых задачах. Это позволяет уделять больше внимания логике обработки и потребностям тех, кто работает с данными. * Принимаем инженерные решения самостоятельно
Определяем, как устроить обработку с учётом качества, надёжности и эффективности вычислений. Ведём решение от разработки до сопровождения и видим результат своих технических решений.
Обязанности:
BigData: данные для AI и аналитикиВ этой команде вам предстоит готовить AI-ready-данные, развивать Meta DWH и Data Catalog, контролировать качество данных. Нужно будет создавать корпоративные хранилища, логи, кубы и витрины для Яндекс Поиска, а также AI-инструменты и аналитические решения для работы с данными. Поиск с Алисой AI: отзывы и качество контента
Здесь одной из ваших задач станет развитие инфраструктуры сбора и обработки пользовательских отзывов, расчёта рейтингов и ранжирования контента, выделения важных аспектов и модерации. Предстоит также разрабатывать метрики и мониторинги качества, анализировать большие данные и развивать продуктовые сценарии. Яндекс Путешествия: хранилище и поставки данных
В команде Яндекс Путешествий вы будете развивать собственное DWH: проектировать слои и модели хранения, разрабатывать и оптимизировать ETL-процессы, контролировать качество поставок данных. Предстоит анализировать бизнес-процессы и ключевые продуктовые метрики.
Ключевые навыки:
- Самостоятельно разрабатывали и сопровождали процессы обработки данных
- Уверенно владеете Python и SQL, знаете основные алгоритмы и структуры данных
- Разбираетесь в разнородных источниках и логике преобразований, проверяете корректность результатов
- Понимаете требования к качеству, надёжности и эффективности вычислений и умеете учитывать задачи потребителей данных