Funkcja AI po wdrożeniu wymaga stałego nadzoru

AI Ops, czyli Operacje AI, to stały nadzór nad funkcją AI po wdrożeniu: pomiar jakości odpowiedzi, kosztów i szybkości działania oraz proces wprowadzania zmian. Funkcja zostawiona bez nadzoru z czasem odpowiada gorzej i kosztuje więcej, bo modele, prompty i treści się zmieniają. Celem jest to, żeby zespół zauważył problem przed użytkownikiem.

Jakość asystenta AI mierzy się na rozmowach: ile spraw rozwiązał, ile wysiłku kosztowało użytkownika dojście do odpowiedzi w skali od 1 do 5, jaki był sentyment na końcu rozmowy i przy których tematach funkcja radzi sobie najsłabiej. Do tego dochodzi częstość błędów i halucynacji, czyli odpowiedzi zmyślonych przez model, oraz koszty i szybkość działania.

Stały nadzór jest potrzebny, gdy funkcja AI działa na produkcji, a nikt nie mierzy jakości jej odpowiedzi ani kosztów. Dotyczy to asystentów, chatbotów, generowania treści i RAG, czyli odpowiedzi opartych na własnej bazie wiedzy. Najpilniej tam, gdzie AI wdrożono szybko albo gdzie błędna odpowiedź ma realne skutki dla użytkownika, jak w produktach medycznych.

Nadzór rozliczamy stałą opłatą miesięczną. Jej wysokość zależy od skali funkcji AI i poziomu ryzyka, dlatego kwotę podajemy po przeglądzie obecnego stanu wdrożenia. Zakres dobieramy do skali, od pojedynczego asystenta po większy system z kilkoma zastosowaniami AI.

Nadzór obejmuje pięć elementów: monitoring jakości, kosztów i szybkości odpowiedzi, testowanie zmian modelu lub promptów przed publikacją, zasady określające, kto zmienia i kto zatwierdza, dokumentację działania funkcji oraz cykliczne przeglądy z zespołem. Efekt: koszty są pod kontrolą, a każda zmiana jest przetestowana i udokumentowana.

Nie. MLOps dotyczy infrastruktury i trenowania modeli, a Operacje AI warstwy produktowej i jakościowej. Mierzymy, jak funkcja działa dla użytkownika, ile kosztuje i jak wprowadzane są zmiany modelu oraz promptów. Infrastruktury modeli nie prowadzimy i modeli nie trenujemy. Pracujemy na wdrożonej funkcji, obok zespołu inżynierskiego klienta.

Projektowanie produktów AI odbywa się przed wdrożeniem: ustala, co funkcja ma robić i jak pokazuje wynik, niepewność i błąd. Operacje AI zaczynają się po wdrożeniu i sprawdzają, czy funkcja nadal robi to, do czego została zaprojektowana. Pierwsza usługa kończy się projektem interfejsu, druga jest stałym, miesięcznym nadzorem.

Pracujemy razem z zespołem inżynierskim klienta: odpowiadamy za pomiar jakości i proces zmian, a podział prac wdrożeniowych ustalamy na starcie. Nadzorem obejmujemy funkcje zbudowane przez Squares, własny zespół firmy albo zewnętrznego wykonawcę. Pierwszym krokiem jest przegląd obecnego stanu wdrożonej funkcji.

Nadzór nad AI jako osobna usługa jest nowy w ofercie i osobnego case study jeszcze nie ma. Opieramy go na asystentach AI wdrożonych u dwóch klientów razem z panelem do pomiaru rozmów. W Tropokolagen.pl zespół klienta widzi w panelu sesje, skuteczność odpowiedzi, sentyment i najczęstsze tematy, a pytaniami startowymi zarządza samodzielnie.