潘敬安怎么都没想到，他会那么爱一个女人，一个张扬热烈但是不爱他的女人。
初次知晓离别是在潘敬安五岁时，潘家没落，父母不知去向，说好听些是不知去向。潘敬安自小就喜好画画，画山，画水，画花，画鸟，但是最为擅长的是画人，可这个谁都不知晓，连苏绣楠也不知。
可是潘敬安自五岁之后就鲜少画人了，总觉得人总会有离开的那一日，若是画中人走了，那活着的人看着这画只能徒增伤感罢了。
那日在东市，其实潘敬安已经坐了许久，但是画，却一幅也画不出来，才思枯竭，正常又噩梦的四个字，如诅咒一般，萦绕在潘敬安的头中，挥之不去。
可是不久，有个女子来了，那女子说自己的画甚有灵气，她很有眼光，一下子就挑中了自己最满意的一幅，潘敬安觉得自己与她相见恨晚，后来得知她名唤苏绣楠，很美的名字，人如其名。
苏绣楠与潘敬安约着后日见面，潘敬安很期待那一日。可是后日，他在那坐了一日都没有等来苏绣楠，以后也再也没见过苏绣楠。
自此，潘敬安再也没有去过东市，日日浑浑噩噩度过，这些在他见到苏绣楠之后也从不敢和她说。
过了些时日，潘敬安心血来潮想去自己原来的小摊做做，后来潘敬安无数次感谢自己的这次心血来潮，在那收到了苏绣楠的来信，她在信中鼓励自己，这让潘敬安有些无措面对这些字。
在后来信使说苏绣楠邀他去江南，潘敬安去了，去见见这盛传的江南岸。
潘敬安见到苏绣楠很高兴，可是高兴不达眼底，就看到另一个男子，与绣楠很是相熟，后来得知，这就是奉命下江南的陵王殿下。
潘敬安一日出来赏月，偶然看到陵王殿下进了绣楠的屋子，小穗也没有阻拦，陵王像是回自己屋子一般，那样自然。
后来陵王走了，苏父也离世了，苏绣楠有孕，潘敬安曾经和苏绣楠说过，自己愿意照顾她们母子二人，可是被苏绣楠拒绝了。
后来，几人都回京了，潘敬安看着苏绣楠与傅奕陵成婚，她穿上嫁衣的样子和自己想象中一样好看，只是旁边那个男子甚是碍眼。
傅奕陵不愿苏绣楠一个人寂寞，将潘敬安等人召进宫，任了些闲职，可是潘敬安没有经常陪着苏绣楠。
潘敬安本以为这样的日子他能过一辈子，可是就在他进宫不到四年，苏绣楠离世了，很突然，所有人都措手不及。
潘敬安看到素来严肃的君王哭的不成样子，也看到了苏绣楠的棺椁中是衣冠，他没有说，他求傅奕陵，虽然傅奕陵是皇帝，但潘敬安从未求过他什么，这一次他求傅奕陵让他再见苏绣楠一面，傅奕陵允了。
潘敬安见了苏绣楠最后一面，后来他便走了，这一走就是二十年，画再也没有画过了，他在江南住着，无人打扰。
只是突然有一日，自称是上官亥的官员过来，说是要给今上献礼，想求一幅画，潘敬安应了，她的孩子，他也想送一份生辰礼，这是潘敬安近二十年第一次握笔，但是一点也不生疏，就这样贺寿图画出来了。
后来潘敬安进宫，来到这个阔别近二十载的地方，最后自戕在凤栖宫中，一句话也没有留下。