La banda se formó en Warrnambool, Victoria, Australia en el año 2003 por Joel O'Keeffe y Ryan O'Keeffe.Joel empezó a tocar la guitarra a los 11 años de edad y Ryan empezó a tocar la batería a la misma edad.​ Joel conoció a David Roads, que trabajaba en el Hotel Warrnambool (como él) y ahí invitó a David a unirse a la banda para tocar la guitarra rítmica en los ensayos en su casa.