《剩山图》来到浙江省博物馆后，在一代又一代人的浙博馆员那里，都得到了悉心保护，第一位就是周其忠。

　　周其忠回忆，虽然省文管会和浙博1962年就合署办公了，但由于双方的办公地址一开始都没变，《剩山图》仍旧保存在环城西路20号省文管会办公的一幢洋房。1969年，珍宝岛事件爆发，中国进入全民战备状态。1970年5月，为了保护战备状态中的文物，文管会保管的文物与浙博所藏的一级二级文物被统一装箱，进行转移。

　　“我记得当时文物总共装了116箱，先是转移到临安的一家军工厂，随后又送到了丽水山区龙泉县的一座山坳里头。就在这些文物转移到龙泉之后不久，我就被派到龙泉去看守这些文物，这算是我跟《剩山图》的第一次亲密接触吧。”周其忠说，当时条件艰苦，大多数书画都是直接装箱的，而从私人那里收来的《剩山图》，因为有一个红木盒子作为外壳保护，在一群文物中显得有些特别。

　　直到1971年8月，这批文物才又回到杭州。由于浙博孤山的房子并不适合放文物，省里决定把省委党校宿舍区里一幢两层楼宿舍调借给浙博当做文物库房。“当时我们去看了看这个宿舍。说实话，这个宿舍离文物库房的标准差了十万八千里。屋顶是漏雨的，窗户闭不上，进口处的大门也是木头做的，要是有扒手进来，随便拿走几件文物实在是太方便了。我们马上进行修整。”

　　因为库房身在省委党校的宿舍区，每天总是有三教九流跟它擦肩而过，特别是一些小贩，喜欢东看看西看看。于是周其忠对外只宣称这里只是“浙江博物馆的办公分部”。

　　虽然该做的都做了，可周其忠总觉得，像《剩山图》这样的珍贵文物，就这么放在宿舍的二楼，一点保护措施都没有，还是不安全。于是他想出了一个办法――定做一只又大又重的铁制保险箱，把《剩山图》等珍贵的书画文物都锁在里面。“我自己设计这个保险柜，然后送往嘉善的一家工厂定做。这个保险柜有现在的双开门冰箱那么大，好几百斤重，有两道门，每一道门都需要输入密码。开启第二道门后，便是一层一层的抽屉，抽屉需要用钥匙打开。保险箱交付后，《剩山图》就放在保险柜的抽屉里。”

　　就这样，《富春山居图》终于有了一个相对防盗、防潮、防腐的安身之所。1984年，浙博的古荡新库房落成，保险柜被搬进新库房。2001年，浙博专门保存书画的恒温恒湿库房在孤山落成，《剩山图》也离开了相伴多年的保险柜，进入恒温恒湿的新家至今。