기본 정보
| 부스 | T9404 |
| 국가 | SG |
| 웹사이트 | turbonext.ai |
회사 소개
TurboNext.ai는 이기종 컴퓨팅과 비용 효율적인 메모리 솔루션을 결합해 Generative AI의 경제성을 다루며 컴퓨팅과 메모리를 서로 분리된 최적화 영역이 아니라 함께 구성합니다. 대규모 언어 모델(LLM) 접근법은 model-specific resource allocation을 통해 워크로드를 최적화하며 자원 할당을 실제 실행되는 특정 모델과 연결합니다. 같은 LLM 최적화 방식은 workload-defined hardware를 사용해 하드웨어 구성을 워크로드 정의와 연결하는 것을 시스템 개념의 일부로 삼습니다. TurboNext.ai는 기존 GPU를 turbocharge하는 기술로도 제시하며 현재 GPU 자원을 효율적인 LLM 시스템 구축 방식 안에 포함합니다. 제품 메시지는 컴퓨팅, 메모리, 자원 할당, workload-defined hardware의 조합을 통해 회사가 세계에서 가장 효율적이라고 표현하는 LLM 시스템을 구축하는 데 초점을 둡니다.
전시 제품
플래그십 TB1 Inference System은 제품군에서 명시된 추론 제품으로 LLM 추론을 위해 회사의 메모리와 소프트웨어 스택 특성을 결합한 시스템으로 제시됩니다. TB1은 large on-board memory를 포함하며 온보드 메모리 용량은 플래그십 추론 시스템에서 명시적으로 제시된 구성 요소 중 하나입니다. TB1 Inference System은 100% KV-cache hit rates 사양을 가지며 이 캐시 적중 특성은 플래그십 시스템 설명의 일부입니다. TB1은 parallelized software stack도 사용해 소프트웨어 스택 특성을 온보드 메모리 및 KV-cache 기능과 결합합니다. TurboNext.ai의 더 넓은 LLM 워크로드 전략은 이기종 컴퓨팅과 비용 효율적인 메모리 솔루션을 사용하며 그 안에서 추론 시스템 제품이 제시됩니다. 워크로드 최적화에는 model-specific resource allocation과 workload-defined hardware가 함께 명시되어 자원 할당과 하드웨어 정의가 모두 LLM 시스템 접근법의 명확한 요소가 됩니다. 회사는 이 방식을 기존 GPU를 turbocharge하는 것으로 설명하므로 LLM 시스템 포지셔닝은 GPU를 교체하는 전략만이 아니라 이미 사용 가능한 GPU의 활용을 강화하는 데 기반합니다. 제품 방향은 기존 GPU, 이기종 컴퓨팅, 비용 효율적인 메모리, model-specific resource allocation, workload-defined hardware를 하나의 LLM 최적화 방향으로 묶습니다. 그 안에서 TB1은 large on-board memory, 100% KV-cache hit rates, parallelized software stack이라는 세 가지 명시된 시스템 특성을 제공합니다. 전체적으로 TurboNext.ai는 자원 할당 및 하드웨어 정의 방식과 TB1 Inference System의 메모리, 캐시 적중, 병렬화 소프트웨어 특성을 결합한 LLM 추론 최적화를 제시합니다.
역량 및 제품
- 이기종 컴퓨팅 및 비용 효율 메모리 기반 LLM 최적화
- LLM 워크로드용 모델별 자원 할당
- LLM용 워크로드 정의형 하드웨어
- 기존 GPU LLM 가속
- 100% KV-cache 적중률 추론 아키텍처
- 병렬화 LLM 소프트웨어 스택