AI API çağırışı uğursuz olduqda bir çox tərtibatçının ilk reaksiyası modeli və ya provayderi dəyişmək olur. Lakin bunun əksər hallarda tez və səhv qərar olduğu bildirilir. Mütəxəssislər qeyd edir ki, 401, 429, model_not_found, timeout və qarışıq hesablaşma xətalarının böyük qismi modelin keyfiyyəti ilə deyil, marşrut (route) ilə bağlı məsələlərdən qaynaqlanır.
Xətanı modeldə yox, marşrutda axtarın
Hər bir API sorğusu bir sıra mərhələlərdən keçir: açar, baz URL, model ID, təkrar cəhd qaydaları (retry rules), fallback yolu və hesablaşma qeydi. Əgər bu mərhələlərin heç biri görünmürsə, modeli dəyişmək yalnız əsas səbəbi gizlədə bilər. Ona görə də tərtibatçılara tövsiyə olunur ki, modeli dəyişməzdən əvvəl marşrutu yoxlasınlar.
İlk növbədə API açarının (key) əhatə dairəsinə baxmaq lazımdır. Açar doğru layihəyə, mühitə (environment) və kvota qaydasına bağlıdırmı? Bir iş məkanında işləyən açar, digərində limit, büdcə və ya icazə verilən modellər fərqli olduğu üçün xəta verə bilər. Eyni şəkildə, baz URL-i də yoxlamaq vacibdir. OpenAI-ilə uyğun bir çox xəta sorğunun səhv hosta, versiya yoluna və ya proxy'ə göndərilməsindən yaranır.
Xəta növünə görə fərqli suallar
Mütəxəssislər 401, 403, 404 və 429 xətalarını fərqli qiymətləndirməyi məsləhət görür. 401 açarın mövcudluğu və etibarlılığı, 403 isə açarın bu marşrut və ya modeldən istifadəyə icazəsi barədə sual doğurur. 404/model_not_found xətası həmişə provayderin kəsilməsi mənasına gəlmir; bu, köçürülmüş alias, ləğv edilmiş ID və ya açıq model adı ilə API model ID arasında uyğunsuzluq ola bilər. 429 xətasında isə limitin istifadəçi, açar, layihə, provayder və ya retry dövrü ilə bağlı olduğu yoxlanılmalıdır.
Bütün bu xətaları provayder qeyri-sabitliyi kimi qəbul etmək vaxt itkisinə səbəb olur. Əslində, tək bir istifadəçi hərəkəti agentlər, RAG pipeline, streaming müştərilər və SDK təkrar cəhdləri səbəbindən birdən çox model çağırışına səbəb ola bilər. Fallback aktiv olduqda isə xidmət göstərilən marşrut tələb edilən modeldən fərqli ola bilər.
Uğurlu cavab testin sonu demək deyil. Hər kiçik sorğunun izah edilə bilməsi vacibdir: hansı açar çağırışı etdi, hansı model ID göndərildi, hansı marşrut cavab verdi, neçə token sayıldı, hansı limit istifadə edildi. Əgər tək bir kiçik sorğunu bərpa edə bilmirsinizsə, istehsal trafiki sistemi anlamağı daha da çətinləşdirəcək.
