GoogleがKubernetesクラスタでの生成AI推論の最適化機能を発表　6710億パラメーターモデルのマルチホスト推論を可能にする仕組みとは。　Googleは2025年4月3日（米国時間）、Red HatおよびByteDanceと共同で、大規模言語モデル（LLM）推論を実行するKubernetesクラスタにおいて、ロードバランシング、スケーリング、モデルサーバ性能を最適化する新機能を発表した。