因为镇压有功，行省经略使李国凤便上奏朝廷，请求封赏刘基。此时元廷还须倚重方国珍，所以只授予了刘基处州路总管府判一职，又因担心他擅自行动，还特意剥夺了他的兵权。仕途的坎坷多舛，屡屡忠而见弃，朝廷的反复无常，让一向不愿低头的刘基彻底寒了心。于是他毅然弃官归里，隐居于青田。
刘基老家的人被方氏兄弟侵袭怕了，听说刘老爷回来，都争相赶来投奔。刘基只是略施部署，就把家乡布置得如铜墙铁壁，令方氏兄弟奈何不得。
刘基、宋濂、叶琛和章溢被时人称誉为“浙东四先生”，除了叶琛继续追随石抹宜孙，章溢也出于对时局的绝望而隐居于匡山，作为文坛领袖的宋濂则隐居于龙门山。他们与刘基一样，对天下形势隐居默察，思谋有为，希望能出现一位救世明主，然后出山辅佐于他，以成就一代王业。
婺州自古人文荟萃，在此时有“小邹鲁”b与“东南文献之邦”之称，自南宋以来先后出现了吕祖谦、唐仲友、陈亮三大婺学巨头。风气所化，影响到附近好几个州县甚至整个江浙行省。
很多深受儒家文化濡染的“忠臣义士”，对于各类反元武装还有着本能的抗拒。已经成为行省参知政事，奉命防守处州的石抹宜孙也与婺州遥相呼应，而石抹宜孙的弟弟石抹厚孙正是婺州的守备负责人。