Panemunės, Gelgaudų, Vytėnų pilis – toli gražu ne visi vardai, kuriais per 400 gyvavimo metų ji buvo vadinama. Seniausias žinomas vardas – Panemunės pilis. Pasikeitus savininkams, ji buvo vadinama Gelgaudų pilimi, o po 1831 m. sukilimo, apleista ir be tikrojo šeimininko, ilgai vadinta tiesiog Zamkumi, vėliau pradėta ją vadinti Vytėnų pilimi. Paslaptingas pastatas apaugo legendomis.

Trečiosios kartos tikrasis pilies gyventojas pilininkas Antanas Šveiberis šiandien rūpinasi Panemunės pilimi ir parku. Iš kartos į kartą perduoda pasakojimus, kurie byloja apie pilies pietvakarių bokšto rūsyje buvusį kalėjimą, į kurį baudžiamieji buvo nuleidžiami virve arba kopėčiomis, apie pilies savininkų skriaudžiamus baudžiauninkus, apie paslaptingus požeminius tunelius, vedančius iš Panemunės pilies tiesiai į anapus Nemuno esantį Gelgaudiškį.

Šiuo metu Panemunės pilis yra dalinai restauruota ir priklauso Vilniaus dailės akademijai. Atgiję renesanso rūmai tampa svarbūs Lietuvos kultūrai ir vilioja lankytojus.