Nació en Cadiz, Ohio, en 1901. Su madre murió cuando él tenía solo siete meses de edad. A los 16 años dejó el colegio y se fue a trabajar a una fábrica. Después de asistir a una función teatral en la que vio una obra que lo impresionó, Gable decidió convertirse en actor. Comenzó a realizar giras con compañías teatrales de segunda fila, y trabajó también como vendedor y en diferentes industrias para ganarse el sustento.
En 1924 fue a Hollywood con la ayuda financiera de una agente de teatro, Josephine Dillon, que se convirtió en su mánager. Gable pasó varios años actuando en pequeños papeles de películas y apareciendo también de nuevo en obras teatrales. En 1930 pudo firmar finalmente un contrato con la Metro-Goldwyn-Mayer. A partir de entonces intervino en varias películas.
Gable ganó un Óscar al mejor actor principal por Sucedió una noche, película de 1934. A pesar de ello se lo conoce más por su papel de Rhett Butler en el clásico del cine Lo que el viento se llevó, filme estrenado en 1939. En 1935 también había sido nominado al Óscar por su intervención en Mutiny on the Bounty (Rebelión a bordo).
Desde sus primeros papeles, demostró tener un «gancho» poco común en la pantalla, que más tarde se convertiría en su reconocido carisma para la interpretación de personajes tipo galán, con un lado oscuro que albergaba cierto cinismo.