初，乡佐尝众中辱党，党久怀之。《续汉志》乡佐主收赋税者。后读《春秋》，闻复仇之义，《春秋经》书“纪侯大去其国”。《公羊传》曰：“大去者何？灭也。孰灭之？齐灭之。曷为不言齐灭之？为襄公讳也。齐襄公九世祖哀公亨于周，纪侯谮之也，故襄公仇于纪。九世犹可复仇乎？虽百世可也。”便辍讲而还，与乡佐相闻，期克斗日。既交刃，而党为乡佐所伤，困顿。乡佐服其义，舆归养之，数日方苏，既悟而去。自此来身修志，州里称其高。
及王莽窃位，托疾杜门。自后贼暴从横，残灭郡县，唯至广武，过城不入。
建武中，征为议郎，以病去职，遂将妻子居黾池。复被征，不得已，乃著短布单衣，榖皮绡头，待见尚书。以榖树皮为绡头也。绡头，解见《向栩传》。党服此诣尚书，以待见也。及光武引见，党伏而不谒，自陈愿守所志，帝乃许焉。
博士范升奏毁党曰：“臣闻尧不须许由、巢父，而建号天下；周不待伯夷、叔齐，而王道以成。伏见太原周党、东海王良、山阳王成等，蒙受厚恩，使者三聘，乃肯就车。及陛见帝廷，党不以礼屈，伏而不谒，偃蹇骄悍，同时俱逝。党等文不能演义，武不能死君，钓采华名，庶几三公之位。臣愿与坐云台之下，考试图国之道。不如臣言，伏虚妄之罪。而敢私窃虚名，夸上求高，皆大不敬。”书奏，天子以示公卿。诏曰：“自古明王圣主必有不宾之士。伯夷、叔齐不食周粟，太原周党不受朕禄，亦各有志焉。其赐帛四十匹。”党遂隐居黾池，著书上下篇而终。邑人贤而祠之。
初，党与同郡谭贤伯升、雁门殷谟君长，俱守节不仕王莽世。建武中，征并不到。
王霸字儒仲，太原广武人也。少有清节。及王莽篡位，弃冠带，绝交宦。建武中，征到尚书，拜称名，不称臣。有司问其故。霸曰：“天子有所不臣，诸侯有所不友。”《礼记》曰：“儒有上不臣天子，下不事诸侯。”司徒侯霸让位于霸。阎阳毁之曰：“太原俗党，儒仲颇有其风。”遂止。皇甫谧《高士传》曰“故梁令阎阳”也。《前书》曰：“太原多晋公族子孙，以诈力相倾，矜夸功名，报仇过直。汉兴，号为难化，常择严猛将，或任杀伐为威。父兄被诛，子弟怨愤，至告讦刺史、二千石。”以病归。隐居守志，茅屋蓬户。连征不至，以寿终。
严光字子陵，一名遵，会稽余姚人也。少有高名，与光武同游学。及光武即位，乃变名姓，隐身不见。帝思其贤，乃令以物色访之。以其形貌求之。后齐国上言：“有一男子，披羊裘钓泽中。”帝疑其光，乃备安车玄纁，遣使聘之。三反而后至。舍于北军，给床褥，太官朝夕进膳。
司徒侯霸与光素旧，遣使奉书。皇甫谧《高士传》曰：“霸使西曹属侯子道奉书，光不起，于床上箕踞抱膝发书读讫，问子道曰：‘君房素痴，今为三公，宁小差否？’子道曰：‘位已鼎足，不痴也。’光曰：‘遣卿来何言？’子道传霸言。光曰：‘卿言不痴，是非痴语也？天子征我三乃来。人主尚不见，当见人臣乎？’子道求报。光曰：‘我手不能书。’乃口授之。使者嫌少，可更足。光曰：‘买菜乎？求益也？’”使人因谓光曰：“公闻先生至，区区欲即诣造，迫于典司，是以不获。愿因日暮，自屈语言。”光不答，乃投札与之，口授曰：“君房足下：位至鼎足，甚善。怀仁辅义天下悦，阿谀顺旨要领绝。”霸得书，封奏之。帝笑曰：“狂奴故态也。”车驾即日幸其馆。光卧不起，帝即其卧所，抚光腹曰：“咄咄子陵，不可相助为理邪？”光又眠不应，良久，乃张目熟视，曰：“昔唐尧著德，巢父洗耳。士故有志，何至相迫乎！”帝曰：“子陵，我竟不能下汝邪？”于是升舆叹息而去。
复引光入，论道旧故，相对累日。帝从容问光曰：“朕何如昔时？”对曰：“陛下差增于往。”因共偃卧，光以足加帝腹上。明日，太史奏客星犯御坐甚急。帝笑曰：“朕故人严子陵共卧耳。”
除为谏议大夫，不屈，乃耕于富春山，今杭州富阳县也。本汉富春县，避晋简文帝郑太后讳，改曰富阳。后人名其钓处为严陵濑焉。顾野王《舆地志》曰“七里濑在东阳江下，与严陵濑相接，有严山。桐庐县南有严子陵渔钓处，今山边有石，上平，可坐十人，临水，名为严陵钓处”也。建武十七年，复特征，不至。年八十，终于家。帝伤惜之，诏下郡县赐钱百万、谷千斛。