1966年以后，毛泽东的住处是靠近中南海西门的游泳池。游泳池的房子是木质结构，年久失修，又受邢台地震的影响，墙体开裂，显得简陋不堪。周恩来和汪东兴商量说，主席一辈子没享过福，在中南海外面为他建造一处住所吧。这就是现在的“官园少年儿童活动中心”。

这件事毛泽东起初并不知情。房子盖好后，工作人员报告主席，说官园有一个新的住处，你去看一看吧。毛泽东不表态。连续讲了几次，主席还是没有表态。工作人员都希望主席能有一个更舒适、更安全的住处。另外，在游泳池，吴旭君、吴连登等工作人员住在游泳池的更衣室里，每间更衣室只有七八平方米，阴暗而狭小，如果搬到官园，工作人员也能换一个相对好的环境，就总想动员主席搬过去。

一次，主席和工作人员从人民大会堂出来，工作人员又一次跟主席提起官园的新住所。毛泽东说：“你们叫我去，我就去。”那天大家都挺高兴，以为主席要到官园去住了。后来车开到长安街口，主席突然说：“你们把我送进中南海，你们去。”从此以后，谁也不再提官园的事了。