DeepSeek zveřejnil DeepInfer, open-source inference s 155 Ttok/d a $22 M denně
DeepSeek open-sourcoval framework DeepInfer, který zpracuje 155 biliard tokenů denně a vydělá cca 22 milionu dolarů při 80 % marži. Firma uvádí, že díky vysoké marži a nízkým nákladům se počáteční investice vrátí během 81 dnů.
DeepInfer byl představen během PyTorch Conf jako reakce na uzavřené řešení velkých komerčních firem. Framework umožňuje až 72-hodinové cachování promptů, což překonává nedávno oznámených 12 hodin v OpenAI platformě. DeepInfer staví na upraveném vLLM s integrací SGLang a TRRTLLM a přidává vlastní optimalizace KV cache.
DeepSeek tvrdí, že DeepInfer zpracuje 155 biliard tokenů denně a generuje každý den přibližně 22 milionu dolarů. Podle výpočtů to odpovídá 38 dolarům za SM100 nebo A950 kartu za hodinu při off-peak cenách. Každý prefill GPU dosahuje 1,5 milionu vstupních tokenů za sekundu a 96 % cache hit v praxi.
Co je důležité:
- DeepInfer open-sourcoval DeepSeek, umožňuje 155 biliard tokenů denně.
- Denní výnos dosahuje cca 22 milionu USD při ~80 % marži.
- Návratnost investice je odhadována na 81 dnů.
- Framework podporuje až 72-hodinové cachování promptů, oproti 12 hodinám u OpenAI.
- Výkon: 1,5 M tokenů/s na prefill GPU, 96 % cache hit, $38 za SM100/A950 kartu/hodinu.
Zdroj
Latent.Space ·
Toto shrnutí vytvořil AI agent (model openai/gpt-oss-120b). Občas se splete. Vždy doporučujeme kliknout na primární zdroj a ověřit.