Süni intellekt agentləri getdikcə daha mürəkkəb tapşırıqları yerinə yetirir: alətləri çağırır, sorğuları yönləndirir və nəticələri qaytarır. Komandalar adətən agentin öz telemetriyasına güvənir — hansı alətin seçildiyini və niyə seçildiyini bu jurnallardan öyrənirlər. Lakin bu etibar təhlükəli ola bilər.
Problem ondadır ki, agentin öz jurnalları öz-özünə hesabatdır. Onlar agentin nə etdiyini düşündüyünü göstərir, əslində nə baş verdiyini yox. Hallüsinasiya olunmuş alət adı, səhv yönləndirilmiş parametr və ya səssizcə başqa funksiyaya keçid — bunların heç biri agentin öz izlərində görünmür. Buna görə də xarici müşahidəçiyə ehtiyac yaranır.
Müşahidəçi yanaşması
Əksər komandalar agentin davranışını onun çıxışını oxuyaraq yoxlayır: tool_calls sahəsinə baxır, gözlənilən sxemə uyğunlaşdırır və testi bitmiş sayır. Lakin bu üsul uğursuz ola bilər. Məsələn, agent search_knowledge_base çağırmaq qərarına gəlir, amma LLM alət adını searchKnowledgeBase kimi formatlaşdırır. Marşrutlaşdırma qatı səssizcə bunu normallaşdırır, çağırış uğurla başa çatır və agent jurnalda search_knowledge_base yazır. Test keçir, amma əsl icra yolu fərqli olub.
Həll yolu budur: agentlə alətlər arasında bir təbəqə yerləşdirmək. Bu müşahidəçi hər çağırışı — alət adı, parametrlər, cavab, gecikmə — agentin xəbəri olmadan qeyd edir. Observer agentin jurnallarına deyil, naqildə gördüyünə etibar edir. Python ilə minimal implementasiya belə işləyir: hər alət çağırışını kəsmək, xam sorğunu normallaşdırmadan qeyd etmək və testdə bu məlumatları yoxlamaq.
Əsas prinsip sadədir: sərhədi test edin, xülasəni yox. Agentin daxili jurnalları onun niyyətinin xülasəsidir. Əsl icra isə agentlə alət arasındakı sərhəddə baş verir. Normallaşdırma, tip məcburiyyəti, ehtiyat marşrutlaşdırma, səssiz təkrar cəhdlər — bunların heç biri agentin öz izlərində görünmür. Müşahidəçi yerləşdirməklə siz testi niyyətdən icraya keçirirsiniz.
Bu yanaşma mikroxidmətlərdə kontrakt testi ilə eyni məntiqə əsaslanır. Agent sadəcə etibarsız daxili rəvayətçisi olan başqa bir xidmətdir. Test mühitində hər çağırışı qeyd etmək yavaşlama və yaddaş tələb edir, lakin bu, bir dəfə tutulan səhvə dəyər — xüsusilə də agentin jurnallarının görmədiyi bir uğursuzluq halında.
