太平兴国四年（979），宋太宗率大军亲征北汉，兵围太原，杨业把守太原城的东南面，令在此进攻的宋军胆寒。当刘继元出城向宋太宗投降时，杨业仍领人在城南苦战。宋太宗非常欣赏杨业，命刘继元派人去通报降讯，杨业听后，一个人向着北面大哭一场，才解甲投降。宋太宗对杨业厚加赏赐，任命他为左领军卫大将军、郑州防御使，仍带兵镇守代州，在河东战场上抗击辽兵。
太平兴国五年（980）三月，辽景宗派驸马萧多罗率军十万进犯雁门，杨业手下只有几千人马，知道不能和辽军硬拼。于是他派遣少数士兵固守关城，自己率领几百精兵抄小路绕到雁门关以北，转到辽军背后发起进攻。辽兵一路向南进军，没有遇到什么抵抗，正在得意时，忽然从后面响起一片喊杀声，只见烟尘滚滚，一支骑兵从背后杀来，像猛虎冲进羊群一样，乱砍猛杀。辽兵毫无防备，又弄不清后面来了多少人马，个个心惊胆战，阵容大乱，哪里还抵挡得了，纷纷向北逃窜。此次战役，杨业刀斩萧多罗，生擒辽将李重海，被辽军称为“杨无敌”。自此，辽人每每同宋军作战，只要一看到杨业的旗帜，都会望而生畏。杨业在这次战役后被提升为云州观察使，由于杨业威望太高，使他遭到其他宋将的妒忌，有的甚至上书诽谤他，但太宗并不相信这些不实之词，还把举报的书信交与杨业本人，以示对他的信任。杨业对此自然是感激涕零，决心效忠太宗。