En 1960, el italoamericano, de veinte años, conoció a Victoria DiGiorgio, una chica dos años menor con quien se casó el 6 de marzo de 1962, casi un año después del nacimiento de su primera hija, Angela. El matrimonio fue tormentoso, con varios amagos de separación, pero pese a ello la pareja siguió adelante y tuvo dos hijos más: Victoria y John A., también conocido como Junior.

Durante esa época y alentado por su esposa, que era contraria a las actividades deshonestas de su marido, Gotti empezó a trabajar en una fábrica de abrigos, pero al poco tiempo volvió a las andadas. En 1963 fue encarcelado por primera vez y pasó veinte días en la prisión junto a Salvatore Ruggiero tras ser sorprendidos con un coche robado.

En 1966 Gotti entró en la Mafia, encabezada entonces por Carmine y Daniel Fatico. Operaban desde un local, el Bergin Hunt and Fish Club, en el barrio de Queens, para uno de los jefes de la familia Gambino, Aniello Dellacroce. La verdadera carrera criminal de Gotti empezó entonces, prosperó y la familia se mudó a un bonito apartamento en Brooklyn, donde tuvieron un cuarto hijo, Frank. Los Gambino lo reclutaron como matón y poco después le confiaron el saqueo sistemático de los materiales utilizados en la construcción del aeropuerto John Fitzgerald Kennedy, hasta que fue descubierto y condenado a tres años de cárcel en Lewisburg.

Con tan sólo treinta y un años, Gotti se convirtió en el capo de la banda de Bergin y, con Dellacroce en la cárcel, empezó a visitar con frecuencia a Carlo Gambino, Don Carlo, a quien se dirigía con sumo respeto. En 1975, John Joseph fue condenado a cuatro años de prisión por robo, y durante los dos años que pasó en la cárcel de Green Haven asistió a clases de cultura italiana e hizo mucha gimnasia. De nuevo en la calle, tuvo que hacer frente a la muerte de Carlo Gambino y al ascenso de Paul Castellano, quien entonces controlaba la situación.