嘉靖四十一年（1562年），海瑞被任命为淳安知县，看到这里“富豪享三四百亩之产，而户无分厘之税，贫者户无一粒之收，虚出百十亩税差”的“不均之事”，决定重新清丈土地，规定赋税负担。这样，淳安农民的负担有所减轻，不少逃亡民户又回到故乡。

淳安县的案件很多，海瑞明断疑难案件，深得民心。海瑞生活节俭，他穿布袍、吃粗粮糙米，让老仆人种菜自给。浙江总督胡宗宪曾告诉别人说：“昨天听说海县令为老母祝寿，才买了二斤肉啊。”胡宗宪的儿子路过淳安县，向驿吏发怒，把驿吏倒挂起来。海瑞说：“过去胡总督考察巡视各部门，命令所路过的地方不要供应太铺张。现在这个人行装丰盛，一定不是胡公的儿子。”打开胡公子的袋子，有金子数千两，海瑞把金子没收到县库中，派人乘马报告胡宗宪，胡宗宪因此没有把海瑞治罪。

严嵩的党羽、都御史鄢懋卿出巡两浙、两淮盐政，一路上威风凛凛，到处贪污勒索，利用职权收受贿赂。巡查路过淳安县，酒饭供应的十分简陋，海瑞高声宣言县衙狭小不能容纳众多的车马。鄢懋卿十分气愤，然而他早就听说过海瑞的名字，只得收敛威风而离开。

鄢懋卿嘱咐巡盐御史袁淳治海瑞和慈溪县霍与瑕的罪。霍与瑕，是礼部尚书霍韬的儿子，也是坦率正直不谄媚鄢懋卿的人。当时，海瑞已提拔为嘉兴通判，因此事贬为兴国州判官，任职期间屡平冤假错案。

嘉靖四十五年（1566年），吏部尚书陆光祖主张文官选举，于是海瑞被选拔为户部云南司主事。

上疏入狱

明世宗朱厚熜晚年，不在朝堂处理政务，深居西苑，专心设坛求福。总督、巡抚等边关大吏争着向皇帝贡献有祥瑞征兆的物品，礼官总是上表致贺。朝廷大臣自杨最、杨爵获罪以后，没有人敢说时政。

嘉靖四十五年（1566年）二月一日，海瑞在棺材铺里买好了棺材，并且将自己的家人托付给了一个朋友。然后向明世宗呈上《治安疏》，批评世宗迷信巫术，生活奢华，不理朝政等弊端。

明世宗读了海瑞的《治安疏》，十分愤怒，把《治安疏》扔在地上，对左右侍从说：“快把他逮起来，不要让他跑掉。”宦官黄锦在旁边说：“这个人向来有愚名。听说他上疏之前，自己知道冒犯该死，买了一个棺材，和妻子诀别，奴仆们也四处奔散没有留下来的，他自己是不会逃跑的。”明世宗听了默默无言。过了一会又读海瑞的上疏，一天里反复读了多次，感到叹息，只得把《治安疏》留在宫中数月。曾说：“这个人可与比干相比，但朕不是商纣王。”

嘉靖四十五年（1566年）秋季，明世宗生病，心情郁闷，召来内阁首辅徐阶议论禅让帝位给皇太子的事，世宗说：“海瑞所说的都对。朕已经病了很长时间，怎能临朝听政。”又说：“朕确实不自谨，导致身体多病。如果朕能够在偏殿议政，岂能遭受这个人的责备辱骂呢？”遂逮捕海瑞关进诏狱，追究主使的人。狱词送上后，仍然留在宫中不发布。户部有个司务叫何以尚的，揣摩皇帝没有杀死海瑞的心意，上书陈请将海瑞释放。明世宗大怒，命锦衣卫杖责何以尚一百大棒，关进诏狱，昼夜用刑审问。

徐阶力救海瑞，有阁臣主张对海瑞处以绞刑，被徐阶和刑部尚书黄光升压了下来。

大赦出狱

嘉靖四十五年（1566年）十二月十四日，明世宗驾崩，外面一般都不知道。提牢主事听说了这个情况，认为海瑞不仅会释放而且会被任用，就办了酒菜来款待海瑞。海瑞自己怀疑应当是被押赴西市斩首，恣情吃喝，不管别的。主事因此附在他耳边悄悄说：“皇帝已经死了，先生现在即将出狱受重用了。”海瑞说：“确实吗？”随即悲痛大哭，把刚才吃的东西全部吐了出来，晕倒在地，一夜哭声不断。

同年十二月十五日，裕王朱载垕（明穆宗）继位，国号隆庆。奉先帝世宗遗诏，赦免了以海瑞为代表的所有谏言诸臣。海瑞被释放出狱，官复原职，不久改在兵部任职。后来调大理寺任职，提拔为尚宝丞（专门管理皇帝御玺、?印鉴的官员）。

隆庆元年（1567年），徐阶被御史齐康所弹劾，海瑞上言说：“徐阶侍奉先帝，不能挽救于神仙土木工程的失误，惧怕皇威保持禄位，实在也是有这样的事。然而自从徐阶主持国政以来，忧劳国事，气量宽宠能容人，有很多值得称赞的地方。齐康如此心甘情愿地充当飞鹰走狗，捕捉吞噬善类，其罪恶又超过了高拱。”人们赞成他的话。

海瑞被调往通政司，历任左通政、右通政之职。

巡抚应天

隆庆三年（1570年）夏，海瑞升调右佥都御史（正四品），外放应天巡抚。辖区包括应天、苏州、常州、镇江、松江、徽州、天平、宁国、安庆、池州十府及广德州，多为江南富庶的鱼米之乡。属吏害怕海瑞的威严，贪官污吏很多自动辞职。有显赫的权贵把门漆成红色的，听说海瑞来了，都改漆成黑色的。宦官在江南监督织造，见海瑞来了，就减少车马随从。

海瑞兴利除害，请求整修吴淞江、白茆河，通流入海，百姓得到了兴修水利的好处。海瑞早就憎恨大户兼并土地，全力摧毁豪强势力，推行“一条鞭法”，安抚穷困百姓。贫苦百姓的土地有被富豪兼并的，大多夺回来交还原主。深受百姓的爱戴，叫他“海青天”。

徐阶被罢免之后在家中居住，海瑞追究徐家也不给予优待。推行政令气势猛烈，所属官吏恐惧奉行不敢有误，豪强甚至有的跑到其他地方去躲避的。而有些奸民多乘机揭发告状，世家大姓不时有被诬陷受冤枉的人。又裁减邮传冗费，士大夫路过海瑞的辖区大都得不到很好地张罗供应，因此怨言越来越多。

倍受排挤

隆庆三年（1570年）冬季，都给事中舒化说海瑞迂腐滞缓，不通晓施政的要领，应当用南京清闲的职务安置他，明穆宗还是用嘉奖的语言下诏鼓励海瑞。不久给事中戴凤翔弹劾海瑞庇护奸民，鱼肉士大夫，沽名乱政，于是海瑞被改任南京粮储。

海瑞巡抚吴地才半年。平民百姓听说海瑞解职而去，呼号哭泣于道路，家家绘制海瑞像祭祀他。海瑞要到新任上去，正遇高拱掌握吏部，早就仇恨海瑞，把海瑞的职务合并到南京户部当中，海瑞因此遂因病引退，回到琼山老家。

海瑞在隆庆四年（1571年）曾前往福建晋江潘湖，黄光升的府邸拜见黄光升，以谢当年营救保护之恩。

万历元年（1572年），张居正主持国政，也不喜欢海瑞，命令巡按御史考察海瑞。御史到山中审察，海瑞杀鸡做菜招待御史，房屋居舍冷清简陋，御史叹息而去。张居正惧怕海瑞严峻刚直，中外官员多次推荐，最终也不任用。

万历十二年（1584年）冬天，张居正去世之后，吏部拟用海瑞为左通政，明神宗朱翊钧向来器重海瑞的名望，于次年正月召海瑞为南京右佥都御史。赴任途中，改为南京吏部右侍郎。海瑞当时已经七十二岁了，上疏言衰老垂死，愿意效仿古人尸谏的意思，列举明太祖朱元璋刑法，剥人皮装上草制成皮囊，以及定律枉法达八十贯判处绞刑的规定，说应当用这样的方法惩治贪污。其它谋划时政，言语极为切实。只有劝皇帝用暴虐刑法，当时评议认为是错误的。御史梅鹍祚弹劾海瑞。明神宗虽然认为海瑞言论有过失，然而清楚海瑞的忠诚，为此免去梅鹍祚的俸禄。

老病去世

明神宗屡次要重用海瑞，主持国事的阁臣暗中阻止，于是任命海瑞为南京右都御史。海瑞上任后，力主严惩贪官污吏，禁止循私受贿。诸司向来苟且怠慢，海瑞身体力行，矫正弊端。有的御史偶尔戏乐，海瑞要按明太祖法规给予杖刑。百官恐惧不安，都怕受其苦。提学御史房寰恐怕被举发纠正要先告状，给事中钟宇淳又从中怂恿，房寰再次上疏诽谤诬蔑海瑞。海瑞也多次上疏请求退休，明神宗下诏慰留不允许。

万历十四年（1586年），海瑞听闻黄光升去世，悲伤至极，带病前去晋江奔丧。

万历十五年（1587年）十月十四日，海瑞病故于南京任上。他没有儿子，所以去世后，佥都御史王用汲去主持海瑞的丧事，看见海瑞住处用葛布制成的帏帐和破烂的竹器，有些是连贫寒的文人也不愿使用的，因而禁不住为之悲泣不已，凑钱为海瑞办理丧事。海瑞的死讯传出，南京的百姓因此罢市。海瑞的灵枢用船运回家乡时，穿着白衣戴着白帽的人站满了两岸，祭奠哭拜的人百里不绝。朝廷追赠海瑞太子太保，谥号忠介。