Tânăra împărăteasă suferă din ce în ce mai des de insomnii, lipsa poftei de mâncare şi tuse constantă. Pentru a evita o îmbolnăvire a plămânilor, la sfatul medicilor este trimisă la Madeira. Pentru prima dată Sisi este din nou eliberată de toate obligaţiile şi se bucură de viaţă departe de constrângerile de la curte. Când Elisabeta se întoarce la curtea vieneză, după doi ani de absenţă,se remarcă o transformare în plan intern. Din fetiţa graţioasă, timidă şi melancolică, ea a devenit o frumuseţe sigură pe ea şi mândră. Din această perioadă sunt şi celebrele portrete ale lui Franz Xaver Winterhalter. Fără îndoială, cel mai cunoscut este portretul din 1865, în care Elisabeta apare în garderoba de bal- aşa numita rochie cu stele- precum şi cu celebrele stele de diamant în păr. Elisabeta deţinea un set de 27 de stele de diamant, pe care le-a lăsat moştenire mai târziu nepoatei sale arhiducesa Elisabeta, fiica lui Rudolf. În camera cu oglinzi puteţi vedea o copie a acestor stele de diamant.