下诏追回受命讨伐王琳的诸军。

其实这也是王琳以拖待变的老招数，陈霸先急着恢复江南的民生，也懒得跟王琳斗法了，先各自回家休养一阵再说。

不过人算不如天算，公元559年六月，王琳的老对手陈霸先去世，其侄陈蒨（陈文帝）即位。

南陈不服陈蒨的人很多，内部不合。这是天给王琳一个绝佳的机会。

王琳听说陈霸先病死后大喜，便命少府卿孙瑒总揽留守事宜，自己则拥奉萧庄出兵屯驻濡须口，准备灭陈。

北齐也派扬州道行台慕容俨率军众逼近长江，为其声援。

十一月，王琳进犯大雷，陈蒨命侯瑱、侯安都与徐度率军抵御。陈朝安州刺史吴明彻溯流而，乘夜袭击湓城，王琳派巴陵太守任忠率军进击，大破吴明彻，吴明彻只身脱逃。王琳乘势引兵东下，南陈岌岌可危。

如果没有后面的事情，王琳无论是裂土封王，还是打下建康，南北朝的历史都会是另外一番景象。

然而在大好形势下，王琳却是阴沟里翻船了。

天启三年（公元560年）二月，王琳率军抵达栅口，侯瑱等屯驻于芜湖，两军相持一百多天。

东关一带春季水位高涨，可以供船舰通航，王琳便率合肥、漅湖一带的部众，乘兵船沿江排列而下，舳舻首尾相连，军势强盛。

侯瑱跟王琳几回合较量，互有损失，不过多半都是毁在天气。

然而这时北周听说王琳东下灭陈的消息，派荆州刺史史宁率军数万乘虚袭击郢州，守将孙瑒绕城固守。

王琳闻讯后，担忧因军心不稳而溃散，只得便加紧率领水师东下，直到离芜湖十里地才停泊下来，军中敲击木柝报时示警的声音，一直传到侯瑱军中。

而北齐派仪同三司刘伯球率军一万余人支援王琳，行台慕容恃德的儿子慕容子会率两千名铁骑屯驻在芜湖西岸，以声援王琳。（事后证明北齐的这一招完全是一通操作猛如虎，事后效果二百五）

同月十四日，侯瑱率军防备王琳进犯。当时西南风刮得又急又猛，王琳认为得了天助，打算直取扬州，侯瑱等慢慢从芜湖出来跟在他后面。

等到交战时，西南风反被侯瑱利用，王琳让士兵往侯瑱的船扔火炬（史书这么说，但王琳一辈子几乎都在打水战，不会犯这样的低级错误，极有可能是他手下私自行动），因为逆风，反而将自己的兵船全部烧毁。

侯瑱趁机大破王琳军，军士溺水而死的有十分之二、三，其余的都弃船岸，被侯瑱军队斩杀殆尽。

王琳败得虽然莫名其妙，但终究是败了，被侯瑱捡了个大便宜。

同时北齐援军也是大乱，刘伯球、慕容子会都被抓获（援军不识地理，全部陷入泥坑，无力吐槽），侯瑱军斩俘数以万计，王琳与北齐援军的军用物资和兵器也全被缴获。

王琳乘坐舴艋小船突围而出，抵达湓城，想收拢散失流离的军士，但再也没有人愿意归附他，他只好率妻妾及左右亲信十多人出逃，萧庄也在侍中袁泌、御史中丞刘仲威等人的护送下抵达北齐边境，与王琳会合，一同逃往北齐。

然后高洋也因为酗酒病死了，北齐鲜卑勋贵与北方世家的第一波内讧开始。

这一幕急转直下，看得当时人和后人都莫名其妙，只能总结一句：时也命也运也。

王琳可谓是成也兄弟，败也兄弟。

皇建二年（公元561年）正月，北齐孝昭帝高演派王琳到合肥，纠集旧部，再图进取。

平心而论，高演是有作为了，他此时正在研究卢叔武的《平西策》，惊为天人，打算让王琳坐镇江淮，然后其他力量集中起来对付北周。

这个策略是正确的。

王琳绝望中逢春，于是大喜，开始修理战船，分派人去招募淮南民众，这些人都愿意和他同心协力。（为什么北齐人却愿意听王琳使唤呢，后面会说）

陈朝的合州刺史裴景晖（一作裴景徽），是王琳兄长王珉的女婿，他请求让他家里的奴仆为王琳充当北齐军的向导，高演委派王琳和行台左丞卢潜率兵前去接应。

王琳迟疑不决，裴景徽担心自己求作内应的事泄漏，便投奔北齐。

齐孝昭帝赐王琳印封文书让他镇守寿阳，准许他部下将帅还都跟从他，任王琳为骠骑大将军、开府仪同三司、扬州刺史，封会稽郡公，镇守寿阳。

又增发给王琳军饷，赐一班铙吹乐器。王琳率军严阵以待，准备随机而动。适逢当时陈朝与北齐结好，北齐便让王琳以后再作打算。

然后就没有然后了。

因为高演坠马死去。（极大可能是高湛联合鲜卑贵族做局暗杀，因为高演登基后十分重用北方汉人世家，引人不满）

王琳在寿阳，与行台尚书卢潜不和，二人屡次产生矛盾，他因而被召还邺城。

北齐武成帝高湛草包一个