Neste episódio do podcast da MIT Technology Review Brasil, Rafael Coimbra, Andre Miceli e Carlos Aros discutem os desafios e as limitações dos benchmarks de Inteligência Artificial. Apesar de amplamente utilizados para medir o desempenho de modelos, esses indicadores estão cada vez menos eficazes para capturar a complexidade dos sistemas modernos.

A saturação dos conjuntos de dados, a repetição de métricas e o foco excessivo em resultados específicos criam uma visão distorcida sobre os avanços reais da tecnologia. Afinal, como podemos avaliar de forma mais precisa o impacto da IA em contextos reais e dinâmicos?

Ouça o novo episódio, oferecido pelo SAS.