Szukamy Senior QA Engineera, który dołączy do naszego zespołu i przyczyni się do budowy systemu operacyjnego opartego na AI dla marketingu w służbie zdrowia. W tej roli wykraczysz poza tradycyjne testowanie end-to-end, przejmując odpowiedzialność za jakość, ocenę i monitorowanie złożonych systemów AI. Będziesz pracować nad produktami o rzeczywistej wartości produkcyjnej, zapewniając stabilność naszej architektury full-stack, jednocześnie projektując i skalując pipeline'y oceny AI oraz systemy monitorowania dryfu ML. Jeśli pasjonujesz się opracowywaniem solidnych ram testowych i oceny dla nowoczesnych systemów opartych na AI i ML, chcemy usłyszeć od Ciebie.

Twoje zadania

  • Projektowanie, budowanie i utrzymywanie ram oceny dla dużych modeli językowych (LLM) oraz niestandardowych systemów agentowych

  • Opracowywanie zautomatyzowanych mechanizmów oceny, asercji i zestawów testowych do pomiaru dokładności agentów, niezawodności rozumowania, wskaźników halucynacji oraz poprawności użycia narzędzi

  • Symulowanie złożonych, wieloetapowych przepływów pracy agentów w celu odkrywania przypadków brzegowych w autonomicznym podejmowaniu decyzji

  • Współpraca z zespołami inżynieryjnymi w celu ustanowienia solidnych ram monitorowania dla dryfu danych, dryfu koncepcji oraz degradacji wydajności modeli w produkcji

  • Implementacja systemów telemetrycznych i alarmowych do śledzenia opóźnień, użycia tokenów, efektywności kosztowej oraz jakości wyników w czasie

  • Odpowiedzialność za strategię testowania end-to-end w całym naszym stosie, zapewniając płynne połączenie między frontendem Angular, backendem Node.js oraz mikroserwisami AI opartymi na Pythonie

  • Pisanie czystych, łatwych w utrzymaniu i skalowalnych skryptów testowych w Pythonie oraz JavaScript/TypeScript

  • Przeprowadzanie rygorystycznych testów API, testów integracyjnych oraz testów wydajności/obciążenia dla mikroserwisów o wysokiej przepustowości

  • Integracja systemów oceny i testowania AI w naszych pipeline'ach CI/CD, aby zapewnić ciągłe egzekwowanie jakości przed wdrożeniem

  • Definiowanie i śledzenie kluczowych wskaźników jakości (KPI) dla niezawodności oprogramowania i zachowania modeli AI

Wymagania

  • Minimum 5-letnie doświadczenie w testowaniu oprogramowania lub inżynierii jakości, z co najmniej 2-letnim doświadczeniem w testowaniu lub ocenie aplikacji AI/ML, przepływów pracy LLM lub systemów agentowych

  • Biegłość w Pythonie do skryptów testowych backend/AI oraz znajomość JavaScript/TypeScript w ekosystemach testowych Node.js i Angular

  • Doświadczenie z ramami oceny takimi jak LangSmith, Langfuse, EvidentlyAI, Ragas lub MLflow oraz umiejętność wyboru odpowiednich metryk dla problemów klasyfikacji lub jakości generacji

  • Znajomość koncepcji monitorowania dryfu ML, śledzenia metryk oraz narzędzi do obserwowalności, takich jak Datadog lub Grafana

  • Silne umiejętności projektowania na poziomie systemu oraz zdolność do budowania infrastruktury testowej i oceny opartej na produkcji od podstaw

  • Zaawansowany poziom języka angielskiego

Mile widziane

  • Znajomość wzorców projektowych agentowych i ich dekompozycji na jednostki testowe

  • Doświadczenie w pracy w regulowanych warunkach systemów ochrony zdrowia

Benefity dla Ciebie

  • Great Place to Work

  • Stabilna sytuacja finansowa

  • Kontrakty z globalnymi markami

  • Centrum szkoleń wewnętrznych

  • Wielu ekspertów, od których możesz się uczyć

  • Otwarty i dostępny zarząd

  • Profit sharing

  • Program Sponsoringu Pasji

  • Cykliczne imprezy i wyjazdy integracyjne

  • Komfortowe i dobrze wyposażone biura

  • Aplikacja MySii

  • Opieka medyczna