“Dvakrat grad, dvakrat samostan” - s temi besedami pater Ernest opiše minoritski samostan Olimje. Po ustnem izročilu naj bi njegova zgodovina segala vse v leto 1015, ko je na ozemlju današnjega samostana stal stolp. Od sedemnajstega stoletja dalje pa v gradu deluje tudi zeliščna lekarna, ki so jo prvi postavili pavlinci, njihovo tradicijo pa danes nadaljujejo minoriti.