スタンフォード大学のScaling Intelligence Labが開発した、LLM推論エンジン「Tokasaurus」が発表されました。高スループットワークロード向けに最適化されており、特に小規模モデルで優れた性能を発揮します。また、パイプライン並列処理や非同期テンソル並列処理など、GPUの種類に応じた最適化も施されています。GitHubで公開されており、試すことも可能です。