Nasz Klient to międzynarodowa organizacja rozwijająca nowoczesne rozwiązania technologiczne wykorzystujące dane oraz sztuczną inteligencję.
Projekt koncentruje się na budowie i rozwoju infrastruktury danych wspierającej rozwiązania AI. Zakres współpracy obejmuje projektowanie procesów przetwarzania danych, przygotowywanie źródeł wiedzy dla systemów RAG oraz rozwój integracji i mechanizmów wyszukiwania informacji w środowisku Azure.
Do realizacji projektu poszukujemy osoby do współpracy w roli AI Data Engineer, która łączy doświadczenie w Data Engineering z praktyczną znajomością rozwiązań AI oraz potrafi projektować skalowalne procesy przetwarzania i udostępniania danych.
📍 Tryb Współpracy: 100% zdalnie lub Warszawa
⏱️ Dostępność: Poszukujemy osób dostępnych od zaraz lub z maksymalnie 1-miesięczną dostępnością
🧑💻 CZYM BĘDZIESZ SIĘ ZAJMOWAĆ?
Projektowaniem i rozwijaniem procesów pozyskiwania, przetwarzania oraz udostępniania danych na potrzeby rozwiązań AI
Budowaniem i optymalizowaniem pipeline'ów danych wykorzystywanych przez systemy oparte na sztucznej inteligencji
Przygotowywaniem i przekształcaniem danych pochodzących z różnych źródeł, w tym danych nieustrukturyzowanych
Rozwijaniem mechanizmów indeksowania i wyszukiwania informacji wykorzystywanych w rozwiązaniach RAG
Projektowaniem procesów generowania i aktualizowania reprezentacji wektorowych danych
Integracją źródeł danych z komponentami AI oraz usługami chmurowymi
Optymalizowaniem procesów wyszukiwania i dostarczania kontekstu do modeli AI
Zapewnianiem jakości, spójności i aktualności danych wykorzystywanych przez rozwijane rozwiązania
Automatyzacją procesów przetwarzania oraz aktualizacji zbiorów danych
Analizowaniem wydajności pipeline'ów i identyfikowaniem możliwości ich usprawnienia
Współpracą z zespołami AI Engineering i Data Engineering przy projektowaniu architektury danych
Tworzeniem dokumentacji technicznej oraz rozwijaniem standardów przetwarzania danych
🔍 CZEGO OD CIEBIE OCZEKUJEMY?
Must have:
Minimum 4 lata komercyjnego doświadczenia w obszarze Data Engineering lub pokrewnym
Bardzo dobra znajomość Python oraz doświadczenie w tworzeniu procesów przetwarzania danych
Praktyczne doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych
Znajomość rozwiązań AI oraz sposobów przygotowywania danych na potrzeby systemów wykorzystujących sztuczną inteligencję
Doświadczenie w projektowaniu lub rozwijaniu rozwiązań RAG
Praktyczna znajomość wektorowych baz danych oraz mechanizmów wyszukiwania semantycznego
Znajomość procesów tworzenia, przechowywania i aktualizowania embeddingów
Doświadczenie z platformą Microsoft Azure oraz usługami wykorzystywanymi do przechowywania i przetwarzania danych
Umiejętność integracji danych pochodzących z różnych źródeł i systemów
Doświadczenie w przetwarzaniu danych ustrukturyzowanych i nieustrukturyzowanych
Dobre rozumienie zasad jakości danych, optymalizacji wydajności oraz skalowalności procesów
Umiejętność samodzielnego analizowania problemów technicznych i proponowania odpowiednich rozwiązań
Nice to have:
Doświadczenie z Azure AI Search
Znajomość Azure Data Factory lub Azure Databricks
Doświadczenie z LangChain lub LlamaIndex
Znajomość metod hybrid search, reranking i chunking
Doświadczenie z Azure OpenAI
Znajomość SQL i relacyjnych baz danych
Doświadczenie w automatyzacji wdrożeń i procesach CI/CD
Znajomość architektury Lakehouse
🤝 DLACZEGO WARTO?
Udział w projekcie łączącym Data Engineering z nowoczesnymi rozwiązaniami AI
Rozwój infrastruktury danych stanowiącej podstawę systemów RAG
Złożone zagadnienia związane z wyszukiwaniem semantycznym, przetwarzaniem danych i integracją AI
Udział w kształtowaniu architektury oraz sposobu przygotowywania i udostępniania danych
Projektowanie rozwiązań wykorzystujących technologie chmurowe i wektorowe bazy danych
📍 Dziękujemy za wszystkie zgłoszenia! Skontaktujemy się z wybranymi osobami.
TQLO Sp. z o.o. – Agencja Zatrudnienia (nr KRAZ 33580)