基本情報
| ブース | T9404 |
| 国 | SG |
| ウェブサイト | turbonext.ai |
会社概要
TurboNext.aiは、異種コンピュートとコスト効率の高いメモリソリューションを組み合わせることでGenerative AIの経済性に取り組み、コンピュートとメモリを別々の最適化領域として扱うのではなく一体化しています。大規模言語モデル（LLM）ではmodel-specific resource allocationによってワークロードを最適化し、リソース割り当てを実行する特定モデルに対応させる考え方を示しています。同じLLM最適化手法ではworkload-defined hardwareを使用し、ハードウェア構成をワークロード定義に結び付けることをシステムコンセプトの一部としています。TurboNext.aiは既存GPUをturbochargeする技術としても提示しており、既存のGPUリソースを高効率LLMシステム構築のアプローチに組み込んでいます。製品メッセージは、コンピュート、メモリ、リソース割り当て、workload-defined hardwareの組み合わせにより、同社が世界で最も効率的と表現するLLMシステムを構築することに重点を置いています。
展示製品
フラッグシップのTB1 Inference Systemは製品群で名称が示された推論製品であり、LLM推論向けに同社のメモリとソフトウェアスタック特性をまとめたシステムとして提示されています。TB1はlarge on-board memoryを備え、オンボードメモリ容量がフラッグシップ推論システムの明示された構成要素の1つです。TB1 Inference Systemには100% KV-cache hit ratesが記載され、このキャッシュヒット特性がフラッグシップシステムの説明に含まれています。TB1はparallelized software stackも使用し、ソフトウェアスタック特性をオンボードメモリおよびKV-cache機能と組み合わせています。TurboNext.aiのより広いLLMワークロード戦略では異種コンピュートとコスト効率の高いメモリソリューションを使用し、その中で推論システム製品が位置付けられています。ワークロード最適化ではmodel-specific resource allocationとworkload-defined hardwareが並記され、リソース割り当てとハードウェア定義の両方がLLMシステム手法の明確な要素となっています。同社はこの手法を既存GPUのturbochargeと表現し、LLMシステムを既存GPUの利用強化として位置付けています。製品の方向性は、既存GPU、異種コンピュート、コスト効率の高いメモリ、model-specific resource allocation、workload-defined hardwareを1つのLLM最適化方針にまとめています。その中でTB1は、large on-board memory、100% KV-cache hit rates、parallelized software stackという3つの明示されたシステム特性を提供します。全体としてTurboNext.aiは、リソース割り当てとハードウェア定義の手法に、TB1 Inference Systemのメモリ、キャッシュヒット、並列化ソフトウェア特性を組み合わせたものとしてLLM推論最適化を提示しています。
対応領域・製品
- 異種計算・低コストメモリによるLLM最適化
- LLMワークロード向けモデル別リソース割当
- LLM向けワークロード定義型ハードウェア
- 既存GPUのLLM高速化
- 100% KV-cacheヒット率の推論アーキテクチャ
- 並列化LLMソフトウェアスタック