周党不愿意做官，总算还来了一趟。其他名人有的假装害病干脆不来，有的隐姓埋名逃到山林里去了。这些名人之中最出名的一个要数严光，也叫严子陵，他跟汉光武还同过学，两从小就挺好。汉光武即位以后老想念他，可又不知道他在哪里。他找来一个画工，把严子陵的相貌说了一遍，就吩咐画工画他的像。画工按照汉光武说的画了个大概。汉光武一看还有点像。他又叫画工再修改几下。嗬！简直就是真的严子陵。有了这一张，再画就方便了。汉光武派人把这些画像分送到各郡县，叫官吏和老百姓寻找严子陵。
这种画形图影的办法还真顶事，齐国上书给汉光武，说有个男子披着羊皮，老在河岸上钓鱼，相貌跟画像有几分像，不知道是不是他。汉光武马上准备好上等的车马，派使者到齐国去接他。
使者见了严子陵，奉上礼物请他上车。严子陵推辞说：“你们看错人啦。我是打鱼的，不是严子陵。礼物拿回去，让我安静地过日子吧。”使者哪里肯听，死乞白赖地把他推上了车，飞一样地送到京城宾馆。汉光武亲自去看他，严子陵脸朝里躺在床上，不理他。汉光武走过去摸着他的肚子说：“喂，子陵，你怎么啦？不愿意帮帮我吗？”严子陵翻过身来盯着汉光武说：“人各有志，你逼我干吗？”汉光武叹了口气说道：“子陵，我真的不能收服你吗？”严子陵听后更加不理他了。他宁可收几个弟子教书，也不愿意做汉光武的臣下。
汉光武请他搬到宫里去，对他说：“朋友总还是朋友吧。”严子陵这才答应他到宫里去走一趟。那天晚上，汉光武跟他睡在一起。严子陵故意打着呼噜，把大腿压在汉光武身上。汉光武就让他压着。第二天汉光武问他：“我比从前怎么样？”严子陵回答说：“好像有一点长进。”汉光武乐得大笑起来，当时就要拜他为谏议大夫。严子陵怎么也不干，他说：“你让我走，咱们还是朋友；你逼着我，反倒伤了和气。”汉光武只好让他走。严子陵已经露了面，不必再更名改姓了，他就回到富春山种地、钓鱼，过着隐士的生活。富春山旁边就是富春江。江上有个台，据说就是当年严子陵钓鱼的地方，所以称为严子陵钓台。
东海人王良受官沛郡太守，迁任大中大夫，进为大司徒司直，在位恭俭，妻子不愿随朝仍住东海。司徒掾史鲍恢因事至东海，经过王家，王良妻方从田间归来，鲍恢素未相识，错疑是佣妇，于是昂然与语道：“我为司徒掾史，便道至此，欲见王司直夫人！”王良妻答道：“妾身便是！掾史劳苦。”鲍恢慌忙下拜，并问良妻有无家书。良妻答称：“在官言官，不敢以家事相烦。”鲍恢叹息而还。贤妇风范比其夫尤为难得。
后来王良因病辞归，病愈后应征复起，道出荥阳探访故友。故友不肯出见，但传语道：“没有忠言奇谋窃取大位岂不可耻？奈何仆仆往来不自惮烦呢？”王良听了此言未免自惭，乃谢病归里终不就征。
却说光武帝既立郭氏为皇后，嫡子刘强为皇太子，相安有年。郭后复生四子，一名刘辅，一名刘康，一名刘延，一名刘焉。阴贵人也生五子，长名刘阳，次名刘苍，次名刘荆，又次名刘衡，又一名刘京。尚有一子刘英，为许美人所出。许美人无宠，故只生一男。阴贵人最得宠爱，光武帝有时出征，常命阴贵人随行。阴贵人初次生男，曾在元氏县中分娩，彼时从征彭宠适当有娠，故在行辕中产儿，取名刘阳，刘阳少时聪悟，十岁时就通晓《春秋》。
建武十五年（39年），刘阳受封东海公。当时朝廷发现垦田亩数和人口不对，于是重新清查田亩，这就是历史上有名的“度田事件”。各个州郡的官员进京汇报工作，光武帝刘秀看到陈留吏的牍上写有，“颍川、弘农可问，河南、南阳不可问。”便问陈留吏这是什么，陈留吏说不知道什么意思，他是在雒阳的长寿街上得到的。这时帐幄后面只有十二岁的刘阳插话说，这是郡里的官吏教陈留吏怎么核查土地的。刘秀又问：那为什么河南、南阳不能问呢？刘阳又说，河南是帝城，南阳是帝乡，这两个地方田亩和宅第肯定逾制所以不能认真核查。刘秀于是让虎贲将诘问陈留吏，陈留吏所言果然和刘庄一样。从此刘秀对自己这个只有十二岁的儿子愈加青睐。
郭皇后当然怀嫌，在光武帝前冷嘲热讽语带蹊跷。光武帝积不能容，于是夫妻反目，到了十七年冬月，竟突然下诏道：
皇后怀势怨怼，数违教令，不能抚循他子，训长异室。宫闱之内，既无关睢之德，而有吕霍之风，岂可托以幼孤恭承明祀？今遣大司徒戴涉、宗正刘吉持节往谕，上缴皇后玺绶。阴贵人乡里良家，归自微贱，自我不见，宜奉宗庙为天下母。特颁诏以闻。
也就是废郭后立阴后。
诏既颁发，群臣互相错愕莫敢发言。郭皇后只好缴出印绶徙居别宫。那色艺兼优的阴贵人竟得超居中宫母仪天下。
那么刘秀为什么要废后呢？
首先郭圣通与刘秀的婚姻并非出于本心，而是战争时期政治之下的牺牲品。刘秀刚到河北去的时候，可以说是只身一人无权无力。尤其当时河北已经有了掌权的王郎，势力绝对碾压刘秀。这时西汉宗亲刘杨看中了他的实力和人品，要把外甥女郭圣通嫁给刘秀。刘秀在刘杨的帮助之下直接进攻邯郸打败了王郎，成为当地的一方诸侯。后来刘秀与刘杨两者联合，继续南征北战夺得了天下。
刘秀成为皇帝之后，不再需要刘杨的帮助，刘杨一帮人该干什么还干什么，丝毫没有晋升的可能。这下刘杨心里就比较恼火了，在刘杨看来，东汉就是他们河北老爷们一手打下来的，刘秀只是捡了个漏而已。
所以刘杨为此闷闷不乐，甚至连刘秀的使者前来他也闭门不出。这在刘秀看来就是谋反的意思，既然是谋反，自然就要被诛杀。
刘秀派人诛杀了刘杨全家，从此平定了真定国。那么刘杨是不是真的要谋反呢?其实压根就没有证据。
也就是说，刘杨并不是因为谋反而被诛杀，是因为有谋反的嫌疑而被诛杀。这么来看，是不是跟岳飞被诛杀有几分相似?
刘杨手握雄兵，一直以来都是刘秀最为忌惮的对象，既然没办法从正面解除他的兵权，刘秀只能选择这种极端的做法。
刘杨之死，可以说是东汉开国的第一惨案。谁说刘秀不诛杀功臣?刘杨是汉室宗亲，也是有资格称帝做天子的人，这是刘秀第一忌惮的地方。刘杨手握雄兵盘踞一方，是朝廷的重大威胁，这是刘秀第二忌惮的地方。鸟尽弓藏的道理，自古如此。
刘秀的原配夫人是阴丽华，早在跟王莽大战的时候，刘秀就已经娶了阴丽华。可是刘秀做皇帝以后，并没有立阴丽华为皇后，而是立郭圣通为皇后。
对郭圣通的爱是一方面，对郭圣通背后力量的忌惮，则是另外一方面。
刘秀在诛灭刘杨以后，并没有立刻对郭圣通下手。还让她安安稳稳地做了十几年皇后，还跟她生了个儿子，不得不说，刘秀还是喜爱郭圣通的，他后宫里佳丽无数，没有必要假装。
可是在刘秀做了17年皇帝以后，郭圣通还是被废了。刘秀的理由很简单，他认为郭圣通行事有吕霍之风，不可以托以幼孤恭承大位。所以给废了。
这可是天大的笑话，首先太子刘强不小了，这时已经17岁。其次刘秀的岁数还不大，还没到传位给儿子的时候，而且他活得比郭圣通还要长。
阴丽华是一位贤后，后汉书中说她性格恭谨节俭，不好赏玩珍品，不喜欢嬉笑戏谑，生性仁爱孝顺，怜悯慈爱。
然而在立后一事上刘秀并不能自己做主。阴丽华知道丈夫为难，主动放弃了皇后之位，并劝其立郭圣通为后，这使得刘秀十分愧疚。
阴丽华其实比郭圣通看得更远，她知道刘秀选择郭圣通为皇后，并不是源于爱情，不过选择她对于刘秀的地位更有帮助。
当刘杨倒台之后，面对在后宫之中嚣张跋扈的郭圣通，刘秀对阴丽华十分愧疚。没有了利益牵扯，郭圣通又年老色衰，刘秀毫不犹豫地把她废黜为中山王太后。
阴丽华对于郭圣通的几个儿子视如已出，尤其是对郭圣通的小儿子刘焉宠爱有加，刘焉可以随意出入阴丽华的寝宫。历朝历代，像阴丽华这样对待别人家儿子的独此一家。
我们很难看到一个太子会主动向自己的父皇辞职。可是郭圣通被废不久，刘强选择了辞职。
刘秀表现得很不舍，毕竟培养了二十年的太子，就这么浪费了实在可惜。
而刘强作为帝国的继承人，只要他熬到登基称帝的那一天，他的老妈，包括他的母族们，都能够因他而崛起。无论从自身的角度还是从母族的角度去考虑，刘强都没有理由辞职。唯一的原因就是刘秀旁敲侧击逼着他辞职。
刘强可以赖在太子位置上等着刘秀上天就行了；可他如果赖在太子位置上，他可能比刘秀更早上天。
刘秀的废后诏书上说得明明白白：郭圣通有吕霍之风。有吕霍之风的人的儿子还能当皇帝吗？
所以刘强要选择辞职，从自己的安全考虑，只有辞职才能保护自己和娘家人。因为主动辞职，刘强最后得到善终，终年34岁。
建武十九年，单臣、傅镇等造反，占据原武城，刘秀派大将臧宫等率兵围剿。由于单臣、傅镇粮草充足，所以臧宫虽然把他们困在城里，但就是攻不破城池。刘秀招集大臣们研究对策，大家多提议悬赏攻城。只有东海王刘阳主张不要围城太急，让叛军可以突围，这样一个亭长就能对付他们。结果真如刘阳所料，叛军分散突围后都被平定、消灭。刘秀认为东海王刘阳聪敏有君人之度，而皇太子刘强又上表辞位。刘秀于是废刘强为东海王而以刘阳为皇太子，刘阳改名刘庄。皇太子与东海王互换了一下。
刘秀重建汉朝后，由于国力不足，对匈奴的策略由攻势转为防御。后来匈奴分为南北两部分。南匈奴主动要求内附，光武帝册封南匈奴而且和他们和亲。北匈奴看到东汉与南匈奴和亲，也要求和亲。光武帝一时难以决定。这时已是太子的刘庄说，北匈奴因为南匈奴内附和亲所以害怕我们，如果我们也与他们和亲。南北匈奴都不会怕我们了，光武帝一听便决定不与北匈奴和亲了。