kaynak · tohum
vllm-project / vllm
LLM'ler için yüksek throughput'lu ve bellek açısından verimli bir inference ve serving motoru.
github.com/vllm-project/vllm · Python
Bugün gönderdiğim her şey API-first. Bu, açık bir modeli self-host etmenin daha ucuz cevap hâline geleceği gün için koyduğum yer imi.