基本資料
| 攤位 | T9404 |
| 國別 | SG |
| 網站 | turbonext.ai |
公司簡介
TurboNext.ai以生成式AI的經濟性為重點，將異質運算與具成本效益的記憶體方案結合，而不是把運算與記憶體視為彼此分離的最佳化領域。其大型語言模型（LLM）方法透過model-specific resource allocation最佳化工作負載，因此資源配置會與實際運行的特定模型相連結。同一套LLM最佳化方法採用workload-defined hardware，將硬體配置與工作負載定義連結，作為公司系統概念的一部分。TurboNext.ai亦將其技術定位為強化既有GPU的方法，把現有GPU資源納入建構高效率LLM系統的做法中。公司的產品訊息聚焦於透過運算、記憶體、資源配置及workload-defined hardware的組合，建構其所描述的世界最高效率LLM系統。
展出產品
旗艦TB1 Inference System是產品線中具名的推論系統，並被定位為把公司的記憶體與軟體堆疊特性結合於LLM推論的系統。TB1具備large on-board memory，因此板載記憶體容量是此旗艦推論系統明確列出的組成特性之一。TB1 Inference System規格列有100% KV-cache hit rates，這項快取命中特性是旗艦系統描述的一部分。TB1亦使用parallelized software stack，使旗艦系統同時結合軟體堆疊特性、板載記憶體與KV-cache功能。TurboNext.ai較廣的LLM工作負載策略採用異質運算與具成本效益的記憶體方案，構成其推論系統產品所處的運算與記憶體背景。工作負載最佳化中，model-specific resource allocation與workload-defined hardware並列，使資源配置及硬體定義都成為LLM系統方法的明確元素。公司將此方法描述為turbocharging existing GPUs，因此其LLM系統定位建立在強化既有GPU使用方式上，而不是只描述替換GPU的策略。產品定位把既有GPU、異質運算、具成本效益的記憶體、model-specific resource allocation及workload-defined hardware整合在同一個LLM最佳化方向。此方向下，TB1提供三項明確列示的系統特性：large on-board memory、100% KV-cache hit rates及parallelized software stack。整體而言，TurboNext.ai將LLM推論最佳化呈現為資源配置與硬體定義方法，搭配TB1 Inference System所列記憶體、快取命中與平行化軟體特性的組合。
能力與產品項目
- LLM 異質運算與低成本記憶體最佳化
- LLM 模型專屬資源配置
- LLM 工作負載定義硬體
- 既有 GPU LLM 加速
- 100% KV-cache 命中率推論架構
- 平行化 LLM 軟體堆疊