Antes de ser FBI, a organização era chamada de BOI (Bureau of Investigation). Com a autonomia dos estados, os EUA tinham dificuldade de criar uma organização que teria como área de trabalho todo o país.

Foi J. Edgar Hoover, um advogado e ex-bibliotecário, que se tornou diretor geral e participou da transição de BOI para FBI. Hoover era conhecido por ser radicalmente anti-comunista, e isso fez com que ele ganhasse apoio e poder dentro do FBI. Além do medo constante de "Ameaça Vermelha", o FBI também trabalhou veementemente durante a Lei Seca, que impedia a venda de bebidas alcoólicas no país.

Durante a prisão de grandes gangsters e traficante de álcool, Edgar Hoover costumava aparecer para dar entrevistas no rádio e para jornais. Isso fez com que Hoover não fosse apenas um funcionário público - ele também era um personagem político que representava uma parte da sociedade norte-americana. Isso fez com que o Senado dos EUA aprovasse uma lei que obrigava a confirmação pelo próprio Senado do nome do diretor-geral do FBI e limitando seu mandato a um máximo de 10 anos.

Em 2 de maio de 1972, J. Edgar Hoover morreu do coração aos 77 anos.