Una vez obtenida por Napoleón la abdicación de la monarquía española en su persona en mayo de 1808, consideró que tenía la situación de España mas o menos controlada y ya lo que le sobraba era la familia real en Bayona. Como entre sus miembros la situación era bastante tensa, pues Fernando no se entendía con sus padres, y especialmente con su madre y tampoco hacía migas con Godoy, Napoleón decidió dividirla en dos grupos.

Al que él consideraba como rey de España, es decir a Carlos IV, su esposa María Luisa, los infantes Francisco de Paula y María Luisa, junto con Godoy, su esposa y sus dos hijos, y un cortejo de 200 personas a su servicio, los dirigió en principio al palacio de Compiègne, a 80 km al norte de París, aunque posteriormente ante las quejas por el clima de la zona, los trasladó a Niza y a partir de 1812, les fijó su residencia en Roma.

Por su parte Fernando VII, al que Napoleón solo consideraba como Príncipe heredero y no como rey, junto con su hermano Carlos María Isidro y su tío Antonio, los mandó al castillo de Valençay que era propiedad del que fuera hasta unos meses antes su ministro de asuntos exteriores, Talleyrand, a donde llegaron hacia el 18 de mayo.

Napoleón había indicado a Talleyrand la necesidad de que el príncipe se divierta y estuviese ocupado, y que si se encariñase de alguna bella mujer, no fuera ningún problema pues sería una forma más de tenerle controlado.