NodeLLM'in 1.17 versiyası artıq əlçatandır və bir neçə maraqlı yeniliklə gəlir. Əsas diqqət MCP (Model Context Protocol) daxilində Sampling mexanizminin tətbiqinə yönəlib, amma siyahıda tool çağırışlarının paralel işlədilməsi, ORM-də inkişaf etmiş idarəetmə və monitorinq sisteminin təkmilləşdirilməsi də var.
Sampling — serverin LLM-dən istifadəsi artıq asanlaşır
MCP-nin əvvəlki versiyalarında server yalnız tool və resurs təklif edirdi. NodeLLM 1.17 ilə isə "Phase 3" adlanan Sampling mexanizmi işə düşür. Bu mexanizm adi məntiqi tərsinə çevirir: indi MCP serveri özü LLM-dən tamamlama tələb edə bilər — yəni server öz API açarı olmadan da mətn generasiyası, təsnifat və ya xülasə kimi əməliyyatları yerinə yetirə bilər.
Bunun üçün createLLMSamplingHandler funksiyasından istifadə edilir. Server tərəfdə hansı modelin işlədiləcəyi isə müştəri tərəfdə konfiqurasiya olunur. Əgər daha dəqiq nəzarət istəyirsinizsə, sadəcə olaraq { llm, model } obyekti yerinə birbaşa handler funksiyası göndərə bilərsiniz.
Tool çağırışları indi paralel işləyir
Əvvəlki versiyalarda bir model eyni anda bir neçə müstəqil tool çağırışı qaytardıqda, NodeLLM onları ardıcıl icra edirdi. Bu, təhlükəsiz idi, lakin bəzən vaxt itkisinə səbəb olurdu. Məsələn, üç fərqli şəhərin hava proqnozunu soruşmaq kimi hallarda. Yeni toolConcurrency parametri bu problemi həll edir:
const chat = llm.chat('gpt-4o-mini').withTool(WeatherTool).withToolConcurrency(true); await chat.ask('What is the weather in Tokyo, London, and New York?');Bu, həm normal chat, həm stream() həm də Agent rejimində işləyir.
ORM qatında tam nəzarət
@node-llm/orm paketi indi əsas kitabxananın tool icra səthini tam dəstəkləyir. Prisma ilə işləyən çatlar üçün toolExecution rejimi üç seçim təklif edir: auto (avtomatik), confirm (hər icradan əvvəl təsdiq tələb edir) və dry-run (heç bir icra aparmaz). toolChoice və toolCalls ilə birlikdə ORM adapteri tam funksional hala gəlir — modelin etdiyi hər şey ardıcıl şəkildə yadda saxlanılır.
Monitorinq sistemi də təkmilləşib
Monitorinq sistemində də yeniliklər var. İndi yalnız prompt və completion token sayı yox, həmçinin keş (cache), keş yaradılması, əsaslandırma (reasoning) və şəkil token sayları da ayrıca qeydə alınır. Bütün bu məlumatlar vahid formata gətirilir — istər Vercel AI SDK, istər OpenAI, istərsə də OTel GenAI konvensiyaları olsun, hamısı altı rəqəmli vahid struktura çevrilir.
Yeniləmələri quraşdırmaq üçün:
npm install @node-llm/core@1.17.0 @node-llm/mcp@0.2.0 @node-llm/orm@0.8.0 @node-llm/testing@0.5.1 @node-llm/monitor@0.4.2 @node-llm/monitor-otel@0.1.1
