"Nature Machine Intelligence" 저널에 실린 이 연구는 인간 두뇌의 시각 정보 처리가 대규모 언어 모델(LLM)에 의해 인코딩된 복잡한 정보와 얼마나 밀접하게 연관되어 있는지 탐구합니다. 연구진은 LLM이 생성한 장면 캡션 임베딩이 자연스러운 시각 자극에 대한 뇌 활동을 성공적으로 특징화하며, 이는 다양한 뇌 영역의 선택성을 포착하고 심지어 뇌 활동으로부터 정확한 장면 캡션을 재구성할 수 있음을 보여줍니다. 특히, LLM이 개별 단어를 넘어선 복합적인 정보를 통합하는 능력이 이러한 뇌 활동과의 일치에 중요하며, LLM으로 훈련된 신경망은 기존의 다른 시각 모델보다 뇌 표현과 더 잘 일치함을 밝혀냈습니다. 이는 LLM이 시각 정보 처리의 새로운 정량적 틀을 제공할 수 있음을 시사합니다.