Respan lansează gateway AI în Rust după doi ani de muncă pe LiteLLM

De ce actualizarea LiteLLM a impus o rescriere completă?

Respan, o companie de instrumente pentru dezvoltatori, a lansat marți un gateway AI open-source scris în Rust. Proiectul a fost în lucru de doi ani, cu accent pe LiteLLM.

Noul sistem înlocuiește 100.000 de linii de cod de wrapper cu un nucleu ușor și pluginuri modulare.

Compania a investit mult efort în construirea straturilor de compatibilitate în jurul LiteLLM. Lucrarea a inclus gestionarea mai multor furnizori de modele, logica de rutare, unelte MCP, suport pentru voce în timp real și controale de securitate.

Când LiteLLM a livrat o actualizare majoră, întreaga arhitectură de wrapper s-a spart. Respan a decis să reconstruiască totul de la zero, în loc să parcheze baza de cod existentă.

Ce oferă noul gateway?

Modificările care sparg compatibilitatea din LiteLLM au invalidat ipotezele încorporate în codul de wrapper al Respan. În loc să depaneze mii de linii, echipa a ales să proiecteze un nucleu nou de la zero. Noul gateway folosește Rust pentru performanță și siguranță a memoriei. Pluginurile gestionează integrarea furnizorilor, rutarea cererilor, apelarea uneltelor prin MCP, streaming-ul vocii și controlul accesului. Această abordare modulară înseamnă că adăugarea unui furnizor nou necesită scrierea unui singur plugin, fără a atinge nucleul.

Software-ul lansat suportă orice furnizor LLM printr-o API unificată.

Include limitare de rată, autentificare și jurnalizare de audit integrate. Streaming-ul vocii în timp real este suportat din cutie. Baza de cod este disponibilă pe GitHub sub o licență open-source.

Dezvoltatorii pot fork-uit proiectul și îl pot extinde cu pluginuri proprii.

De ce a ales Respan Rust pentru noul gateway? Rust oferă siguranță a memoriei și performanță ridicată fără pauze de colectare a gunoiului.

Întrebări frecvente!

Asta contează pentru un gateway care gestionează cereri concurente către mai mulți furnizori AI.

Este noul gateway compatibil în spate cu configurația veche LiteLLM?

Nu. Codul vechi de wrapper e depășit. Utilizatorii ar trebui să migreze către noua arhitectură bazată pe pluginuri.

Poate gateway-ul gestiona voce în timp real? Da. Streaming-ul vocii în timp real e o caracteristică integrată în nucleul nou, nu un plugin separat.