对于格莱舍和菲茨罗伊这样的先驱，当时的老百姓普遍不能理解他们这些人到底在干些什么呢？再加上各种小报的恶毒攻击，这些人的形象就变得非常奇怪。格莱舍倒是不怎么在乎。他脸皮厚。但是菲茨罗伊就不行了，他脸皮薄，人家说他什么话，他都往心里去。

1864年这一年，他接二连三的遭受打击。贸易委员会削减了他的预算，位于南部沿海地区以及威尔士和苏格兰的电报站，都得不到资金支持。没办法，他也只能裁掉了8个观测站。观测的数据少了吧，菲茨罗伊的天气预报已经变得更加不准。公众对他的指责也就变得越来越多。菲茨罗伊已经59岁了，他也已经是个老人，而且身体大不如前。想当年他是个棒小伙子，在火地岛的高山上爬上爬下一点都不觉得累，现在就不行了，整个人都已经显得很颓废。

到了1865年的3月份，他参加了皇家地理学会的一次会议，当时大家组织了一支北极探险队，请他对这个探险队发表一些见解，反正最后大家看他是怒气冲冲的离开了大会现场，据说是大会主席默奇森爵士对他有所怠慢，他不爽。

菲茨罗伊的身体实在是撑不下去了，所以他把气象局的工作交给了别人，他自己回到家里休养一段时间。老婆孩子热炕头，他也可以享受一下天伦之乐。只要他不投入工作，经过一段时间的休息，就会让他精神焕发，但是他接触任何一丁点压力，他马上就会崩溃，这个人的精神仍然是处于一种非常脆弱的状态……