经过古田、台湾知县职位的历练,陈瑸的仕途亦走上了快车道。若干年之后,陈瑸被提拔为偏沅(湖南)巡抚。地位越高,责任越大。走马上任湖南后,陈瑸能够平等待人,没有高官架子。整顿吏治,成为陈瑸上任后的首要任务。“官吏妄取一钱,即与百千万金无异”,这成为陈瑸廉政为官的座右铭,也成了他的廉洁信条。陈瑸临衙亲政,在前任巡抚存卷中,发现一封密告湘潭知县王爰溱横征暴敛的折子。上任巡抚在折子上批了“匿名滥告,不予理会”几个字,便将其放进卷宗,就不管了。长沙知府薛琳声因熟悉长沙风土人情,于是被陈瑸找来问话。二人促膝谈心过程中,薛琳声便将同窗好友兼姻亲的王爰溱的政绩大加赞赏一番,试图给陈瑸留一个好印象。
陈瑸听了薛琳声的讲述,不知道到底是卷宗中告发的是事实,还是薛琳声所说的是事实,事关廉政,他决意去调查一番。陈瑸微服私访来到湘潭,看到的是民间困顿的状况,通过与百姓攀谈,发现民怨沸腾。陈瑸随后亲临王爰溱私宅,见到其宅第陈设奢华、王宅家人着装奢华。回到府衙后,陈瑸派人去调查,发现王爰溱徇私舞弊、聚敛钱财。陈瑸召见王爰溱,当着薛琳声的面,声色俱厉地斥责了王爰溱的腐败行为,同时,斥责了薛琳声不仅包庇王爰溱,而且还为王爰溱美言的行为。不久,王爰溱被处以刑罚,薛琳声被连降三级。湖南官风得到整肃。当地百姓对他廉洁从政的行为评价甚高。张伯行在与陈瑸书信中称赞陈瑸:“廉勤著绩。”康熙称赞陈瑸:“陈瑸居官甚优,操守廉洁。”《清史稿》称赞道:“瑸(陈瑸)性清介。”陈瑸的廉洁品质和操守在民间和官方都获得了极高的评价和认可。
陈瑸在湖南的施政纲要《十月上疏》中强调:“崇节俭以惜民财”“应申严奢侈之禁”“宜安俭朴”“不许收受州县馈送”。看到陈瑸的《十月上疏》,又听闻他人对陈瑸政绩的肯定,1714年底,康熙单独召见了陈瑸。看到他身穿粗布、身体瘦削、脸色苍白,从知情大臣中了解陈瑸提倡节俭并身体力行地加以实践,导致身体虚弱。康熙告诫陈瑸要多注意保养身体。康熙在临别之际,书赠陈瑸一首诗:“留犊从来汉史传,建牙分阃赖官贤。宽弘驭吏当持法,休养安民务使全。岭海屏藩靖蜃气,关山保障息烽烟。迎年节近新春至,援笔枫宸饯别篇。”不久,陈瑸调任福建巡抚。
1716年,陈瑸以福建巡抚兼理闽浙总督。虽位高职重,但是陈瑸主仆二人共居一室,俭朴可见一斑。1718年开春之后,陈瑸屡感身体不适,经常咳嗽,经查,确诊为痨病,可谓积劳成疾。随后,病情沉重,陈瑸无力处理公务,上表奏请回家调养。康熙获悉此事后,非常关注,嘱其在任上诊治,以免舟车劳顿加重病情。当年十月,陈瑸病情恶化,不幸去世,享年62岁。临终前,陈瑸将在巡抚任上应得俸银一万三千两捐入国库。噩耗传到京师,康熙告谕群臣:“陈瑸居官,优操守法,朕见所仅见,恐古人中亦不多得也。”追授陈瑸为礼部尚书,谥号“清端”,推为廉吏典范。