出身贵族
杨素弘农杨氏之后，先祖世代为官，祖父杨暄，官至北魏辅国将军、谏议大夫。父亲杨敷，为北周汾州刺史。杨素小时候穷困失意，不拘小节，有远大的志向。时人都不理解他，只有他的堂叔祖、魏朝的尚书仆射杨宽认为他很不一般，常对子孙说：“处道不是一般的人，他日一定出类拔萃，无与伦比，不是你们赶得上的。”杨素后来和安定人牛弘志同道合，他们勤奋好学，研究探讨精心专诚，从不感到疲倦，因而很多方面都精通或者涉猎。
后与安定人牛弘（后任隋朝礼部、吏部尚书）同窗共读，知识渊博，在文学、书法上均有造诣，史书称其“研精不倦，多所通涉。善属文，工草隶，颇留意于风角。美须髯，有英杰之表”。当时北周大冢宰宇文护把持朝政，引其为中外记室，后转礼曹，加大都督。
公元572年（北周天和七年）三月，北周武帝宇文邕诛杀宇文护亲掌朝政，杨素因曾受到宇文护的重用，所以遭到株连。此时，杨素以其父杨敷死于北齐，但未受朝廷追封，便上表申诉。周武帝不理。杨素再三上表，周武帝大怒，下令杀杨素。
杨素高声地说：“我给无道的天子做事，死是应该的。”周武帝闻后，对杨素刮目相看，赦其无罪，并追赠其父为大将军，谥忠壮。拜杨素为车骑大将军、仪同三司，并逐渐对其有了好感。周武帝又令杨素起草诏书，素下笔成章，文词华丽，周武帝赞扬道：“好好努力，不愁日后没有荣华富贵。”而杨素却回答说：“臣只怕富贵来逼臣，臣却无心谋取富贵。”
破齐立功
公元575年（北周建德四年）七月，周武帝率军攻北齐，杨素请求率其父旧部为先锋，周武帝应允了他，并且赐给他一条竹鞭，说：“我正要驱使天下，所以把这件东西赐给你。”杨素跟随齐王宇文宪在河阴和齐人交战，因战功被封为清河县子，食邑五百户。同年授司城大夫。
公元576年（北周建德五年）十月，杨素再次随宇文宪攻北齐，克晋州（治白马城今山西临汾境）。宇文宪屯兵栖原，北齐帝高纬率诸军自晋阳（今山西太原）向晋州进发。宇文宪闻北齐军主力至，大惧，乘夜而逃，结果为北齐军追上，北周军多被击溃。杨素与骁将十余人尽力苦战，宇文宪方得以解围。此后，杨素更是屡立战功。北齐灭亡后，杨素加上开府，改封成安县公，邑千五百户，赐以粟帛、奴婢、杂畜。
公元577年（北周建德六年）十月，陈宣帝陈顼闻北周灭北齐，即乘机争夺淮北地区，遂派名将吴明彻率军北伐。吴明彻军至北周吕梁（今江苏徐州东南），击败徐州总管梁士彦，进围彭城（今江苏徐州）。
公元578年（北周建德七年）二月，杨素随上大将军王轨前去救援，最终大破陈军，俘主将吴明彻。杨素遂治东楚州事。其弟杨慎被封为义安侯。陈将樊毅筑城于泗口，杨素将其击走之，并将所筑之城全部毁坏。
公元578年（北周宣政元年）六月，周武帝去世，周宣帝继位。宣帝即位后，杨素袭父爵临贞县公，并以其弟杨约为安成公。
公元579年（北周大象元年），杨素随上柱国韦孝宽攻陈淮南（泛指今淮河以南地区），其中杨素率军攻克盱眙（今江苏盱眙东北）、钟离（今安徽凤阳东北）。
投靠杨坚
公元580年（北周大象二年）五月十一日，北周宣帝宇文赟病死。周静帝宇文衍年幼，左丞相杨坚专政。杨素知杨坚甚得众心，且有称帝之意，遂主动投到杨坚门下，与其深自结纳。杨坚也知杨素之才，对其也非常器重，不久便以杨素为汴州刺史。
杨素在上任途中行至洛阳时，方知相州（治邺城）总管尉迟迥等举兵反杨坚。尉迟迥原为北周文帝宇文泰的外甥，位望素重，杨坚恐其有异图，遂以会葬宣帝为名，诏使其子尉迟敦召尉迟迥入朝；并以韦孝宽为相州总管赴邺（今河北临漳西南）取代尉迟迥。六月，尉迟迥恐杨坚专权对北周不利，公开起兵反对杨坚。荥州刺史宇文胄据武牢以应尉迟迥，使杨素无法前行。
七月十日，杨坚调发关中兵，令韦孝宽为行军元帅，杨素与郕公梁士彦、乐安公元谐、化政公宇文忻、濮阳公宇文述、武乡公崔弘度、陇西公李询等皆为行军总管，率军讨伐尉迟迥。旋拜大将军，领河内兵攻打宇文胄，破斩之。迁徐州总管，进位柱国，封清河郡公，邑二千户。其弟杨岳也被封为临贞公。
公元581年（北周大定元年）二月，大丞相杨坚受禅登基，改元开皇，是为隋文帝，并加杨素上柱国。并参与了隋朝法律的修定。
公元584 年（开皇四年），拜御史大夫。由于其妻郑氏是个悍妇，杨素一次与其吵架说了一句：“我如果当了天子，你一定不能作皇后。”。结果被其妻告发，杨素因此获罪，并被免官。此次经历，险些毁了杨素的前途。好在隋文帝一直准备灭亡陈朝，统一中国，杨素曾数次献伐陈之策，此次被免官后，杨素并没有闲著，再次献伐陈之策。
公元585年（开皇五年）十月，杨素任信州总管，经略长江上游，并赐钱百万、锦千段、马二百匹而遣之。
南下灭陈
公元587年（开皇七年），杨素与尚书左仆射高颎、吴州总管贺若弼、光州刺史高劢、虢州刺史崔仲方等人献平陈之策。杨素在永安，（巴东郡，今重庆市奉节县东） 建造“五牙”（上起楼五层，高百余尺；左右前后置六拍竿，并高五十尺，容战士八百人）、“黄龙”等战船，加强水师，作灭陈准备。并故意在江中漂下造船废料，以威慑擅长水战的陈军。
公元588年（开皇八年）三月，隋文帝下诏，列举陈后主罪行又送玺书暴其罪恶20条，并将诏书在江南散发30万份，以争取人心。十月，杨坚在寿春（今安徽寿县）设淮南行台省，以晋王杨广为行台尚书令，主管灭陈之事。杨素与杨广、秦王杨俊并为行军元帅，高颎为晋王元帅长史，右仆射王韶为司马，集中水陆军五十一万八千人，统由杨广统帅，东至大海，西到巴、蜀，旌旗舟楫，横亘数千里。隋军自长江上游至下游分为8路攻陈，其中杨素指挥水军主力，出巴东郡，顺流东下，负责消灭长江及沿岸陈水陆军。十一月，杨坚至定城（今陕西华阴东）誓师，准备渡江的各路隋军进抵长江北岸，完成进攻准备。
十二月上旬，杨素按隋灭陈作战部署，首先率舟师自巴东郡东下三峡，在长江上游发起攻势作战。军至流头滩（又名虎头滩，今湖北宜昌西北），陈将戚昕率青龙战船百余艘、战士数千人坚守前方狼尾滩（今湖北宜昌西北长江中），以遏隋军。狼尾滩地势险峭，水流湍急，易守难攻，将领们都忧心忡忡。
杨素认为：“成败在此一举。如果我们白天乘船而下，他们就会看见我们，滩险水急，天制不由人力，那么我们就失去了有利的条件。”。于是决定采用水陆协同，分进合击的方针，乘夜突袭，将其击败。杨素率黄龙战船数千艘，利用夜暗，令将士衔枚开进，实施正面突破；令开府仪同三司王长袭率步兵由长江南岸攻击戚昕别栅；令大将军刘仁恩率甲骑自江陵（今属湖北）西进，沿长江北岸进击陈军白沙（今宜昌东）要点。隋军水陆配合，于次日拂晓，一举击败戚听所部。戚听逃走，部属全部被俘。杨素对俘虏不杀不辱，慰劳后全部释放。秋毫不犯，陈国人非常高兴。此战，杨素恰当选择进攻时机，以水军突袭与两岸步、骑兵协同攻击，速战速决，取得首战胜利，为灭陈战争发展创造了有利条件。实行优待俘虏政策，有利于争取更多的陈军将士。
杨素率领水军继续东下，大小战船铺满了整了江面，旌旗盔甲在阳光下鲜艳耀眼。杨素端坐在平乘大船之上，容貌体魄雄健魁伟，陈国人望而生畏，都说：“清河公就是长江之神啊！”
陈荆州刺史陈慧纪派南康内史吕忠肃率军屯守歧亭（今长江西陵峡口），在两岸岩石上凿孔，系三条铁索横截江面，阻遏隋军战船。为固守峡口，吕忠肃将自己私产全部捐出充军，所以陈军斗志颇高，防御也很严密。
公元589年（开皇九年）正月，杨素分兵一部与大将军刘仁恩军相配合，猛攻陈军岸上栅障营垒，吕忠肃率军据险抵抗，激战四十余次，隋军伤亡惨重，死五千余人。陈军尽割死者之鼻以邀功求赏，激起隋军愤怒，拚死力战，多次获胜。所俘陈军将士，杨素则全部释放。在隋军猛烈攻击下，吕忠肃被迫放弃营栅，连夜逃走。杨素令士卒毁掉栏江铁索，继续沿江而下。
吕忠肃退据荆门之延洲（今湖北枝江附近长江中），依恃荆门山险要地形，再次阻遏隋军。杨素派善于驾舟的巴延士卒一千人，乘“五牙”战舰4艘，用舰上拍竿击碎陈战船10余艘，俘二千余人，再次大破吕忠肃军，吕忠肃只身逃走。驻守江南岸安蜀城（今湖北宜都西北长江南岸）的陈信州刺史顾觉，也弃城逃走。屯守公安（今湖北公安西北）的陈慧纪见形势不利，烧掉储蓄，率军3万、战船千余艘，顺流东撤，企图入援建康（今南京市），被秦王杨俊军阻于汉口（今湖北汉水入长江之处）以西。巴陵以东，无敢守者。陈湘州刺史，岳阳王陈叔慎亦降于杨素。此战，杨素、刘仁恩以水军、步兵相配合，先击破陈军江岸据点，再以水军战船接舷战，大破敌军。隋大型战舰“五牙”及重型拍竿装备在作战中显示了威力。优俘政策对瓦解陈军、配合军事进攻，具有积极作用。至此，长江上游为隋军所控制，阻止了上游陈军的东援，保障了下游主力的渡江作战。
隋军在长江上游作战获胜后，杨素一面率主力沿江东下，与秦王杨俊会师于汉口（时下游隋军已攻占建康），一面派兵南下略地，扩大战果。二月初又派薛胄、刘仁恩率军进击湘州。隋军一举击败出城迎战的陈湘州助防遂兴侯陈正理和樊通军，薛胄等乘胜入城，俘陈叔慎。刘仁思军再破邬居业于横桥（今湖南常德），擒邬居业等。湘州等地的平定，为隋进军岭南准备了前进基地。
还军，杨素因战功卓著被进爵郢国公，邑三千户，真食长寿县千户。以其子杨玄感为仪同，杨玄奖为清河郡公。赐物万段，粟万石，加以金宝，又赐陈主妹及女妓十四人。杨素又上言：“乡里名叫‘胜母’，孝子曾子就不进去；叛逆之人王谊，以前曾分封于郢地，臣不想和他一样。”于是改封越国公。同年六月，拜纳言之职位；公元590年（开皇十年）七月，转内史令。
江南自东晋以来，世家士族一直欺压寒门庶族。隋灭陈统一中国后，南方士族豪强因对隋实行的限制政策不满，便利用民间对隋欲移民关中流言的惊恐心理，乘机煽动叛乱。十年十一月，婺州（治今浙江金华）汪文进、越州（治今浙江绍兴）高智慧、苏州沈玄侩等均举兵反隋，自称天子，署置百官。蒋山（今南京钟山）李忮、乐安（今浙江仙居西）蔡道人、温州沈孝彻、泉州（治今福州）王国庆等，都自称大都督，起兵攻陷州县，反乱大抵遍及原陈属地。其规模大者数万人，小者数千人，互相呼应，残杀隋朝官吏。面对如此严峻的形式，隋文帝遂命杨素为行军总管率军平叛。
杨素率军由杨子津（今江苏扬州南）渡江，首先击破叛军朱莫问（自称南徐州刺史）于京口（今江苏镇江）。继而击败晋陵（今江苏常州）顾世兴，顾世兴率其都督鲍迁等再战，杨素击破之，俘鲍迁以下三千余人。又进击无锡叶略，平之。时沈玄侩、沈杰等等正围攻苏州，刺史皇甫绩屡战不利，杨素军赶到将其击败，沈玄侩逃至南沙人陆孟孙处，杨素进击陆孟孙于松江，大破之，生擒陆孟孙、沈玄侩。黟、歙叛军沈雪、沈能据栅自守，又攻拔之。
高智慧（自称东扬州刺史）率部据守浙江（今钱塘江）东岸营垒，屯据要害，周围百余里，船舰千艘，遮盖江面，鼓噪而进。子总管来护儿建议：“吴人累锐，利于在舟楫作战。必死的贼寇，难与争锋。您暂且严阵以待，切勿与其交锋，请借我奇兵数千，悄悄渡过江，攻破他们的巢穴，让他们退无所归，进不得战，这是韩信破赵的计策。”杨素纳其言，并命其率轻型战船数百艘，偷渡浙江，以奇兵突袭，并焚烧高智慧后方营垒，使其恐惧不安；杨素则乘机率军从正面突击，大败高智慧军。尔后，杨素派行军总管史万岁率军二千人进攻婺州，自率主力由海道追击逃入海中的高智慧，直趋温州。高智慧来战，杨素将其击败，俘数千人。而后又平定蔡道人、汪文进。杨素在温州击败沈孝彻后，便由陆路转向天台、临海（今属浙江），继续追击反隋散兵，前后战斗达一百多次。高智慧退守闽、越。
此时隋文帝考虑到隋军长时间征战，便诏令杨素入朝。同时加其子杨玄感为上开府，赐彩物三千段。而杨素则认为：“贼寇的余部尚未殄灭，恐怕会成为后患。”便上书请求暂缓返京，继续剿匪。隋文帝对杨素此举非常赞赏，便下诏说：“朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵。犹有贼首凶魁，逃亡山洞，恐其聚结，重扰苍生。内史令、上柱国、越国公素，识达古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶。军民事务，一以委之”。杨素继续率军由会稽（今浙江绍兴）走海道向泉州追击。
剿平匪患
当时泉州人王国庆为南安豪族，杀刺史刘弘，据州为乱，各处逃亡的叛军皆附于他。王国庆自以为海路险阻，而隋军多为北方人，不习海战，遂不设防。杨素率水师从海道掩至，王国庆大惊，弃州逃跑，其众或入海岛，或守溪洞。于是杨素分遣诸将，水、陆分进追捕。并派人密劝王国庆：“你的罪状，累计起来处以死刑还不够。只有斩送高智慧，才可以抵塞罪责。”王国庆遂抓获高智慧，送交隋军，杨素将其斩首，余众全部投降，至此，江南全部平定。此战，杨素辞谢回朝休养诏令，坚持除恶务尽，连续追歼彻底平定江南之乱，对巩固隋朝统一，发展生产具有积极作用。隋文帝派左领军将军独孤陀迎至浚仪犒劳隋军，待回京后，问者日至。隋文帝再封杨玄奖为仪同，赐黄金四十斤，加银瓶，实以金钱，缣三千段，马二百匹，羊二千口，公田百顷，宅一区。
公元592年（开皇十二年）十二月，杨素代苏威为尚书右仆射，与尚书左仆射高颎同掌朝政。
杨素性疏而辩，朝臣之中，颇推高颎，尊敬牛弘，厚接薛道衡，蔑视苏威。其余的大臣，只要与他有过节的人，杨素肯定会百般为难。其才艺风调，优于高颎，至于治理国家，则远不及高颎。
公元593年（开皇十三年）二月，隋文帝在岐州之北建仁寿宫，令杨素监造。杨素奏请莱州刺史宇文恺检校将作大匠，记室封德彝为土木监。杨素为巩固其政治利益，讨好隋文帝，遂“夷山堙谷以立宫殿，崇台累榭，宛转相属”。又“役使严急，丁夫多死，疲屯颠仆，推填坑坎，覆以土石，因而筑为平地。死者以万数”。
公元595年（开皇十五年）三月，仁寿宫建成，隋文帝至仁寿宫。时值天热，“役夫死者相次于道，杨素悉焚除之”。其残暴程度令人发指。此前隋文帝先派高颎前去视察，高颎据实回报：“颇伤绮丽，大损人丁”，隋文帝心中不悦。待隋文帝至仁寿宫，见宫殿如此奢华，大怒道：“杨素殚民力为离宫，为吾结怨天下。”杨素惶恐无比，担心受责备，一时束手无策，便向封德彝请教。封德彝为人邪辟，多阴谋，便对杨素说：“公勿忧，俟皇后至，必有恩诏。”杨素即于北门拜见独孤皇后说：“帝王理当有一些行宫、别墅，现在天下太平，我们仅仅修造了这么一座宫殿，哪里就谈得上浪费了呢！” 次日，隋文帝果召杨素问之，独孤皇后则在傍为杨素辨解：“杨公知道我们夫妇年老，没有地方娱乐，盛饰此宫，难道不是忠孝吗？”结果杨素不但没有获罪，反而被赐钱百万，锦绢三千段。从此，杨素更得隋文帝的信任。而杨素则恃财凌物，对众人多有凌侮，唯独重赏了帮其大忙的封德彝。封德彝从此成为杨素的心腹，杨素常与其议论宰相职务，终日忘倦，还抚其床说：“封郎必当据吾此座。”封德彝在杨素的推荐下，被隋文帝擢升为内史舍人。
大破突厥
自开皇初年起，隋采纳长孙晟之谋，一直对突厥施用离间计，使其内部长期混战不休。公元597年（开皇十七年），隋文帝允许都兰可汗之弟突利可汗娶隋安义公主为妻，并故意予以优厚礼遇，借以离间都兰可汗。都兰可汗果被激怒，乃断绝朝贡，多次骚扰隋边。
公元599年（开皇十九年，《隋书·杨素列传》记载为十八年，有误）二月，突利可汗奏报都兰可汗制造攻城器械，准备攻击大同城（在今内蒙乌拉特前旗东北）。隋文帝命汉王杨谅为元帅（实际未亲临前线），以杨素出灵州（治回乐，今宁夏灵武西南），尚书左仆射高颎出朔州（治善阳，今山西朔县），上柱国燕荣出幽州（治蓟县，今北京城西南），三路进击突厥。
都兰可汗得知隋军来攻，与达头可汗结盟，合兵掩击突利可汗。四月，杨素军在灵州以北地区与达头可汗部遭遇。在此之前，隋将在与突厥交战时，因担心突厥彪悍的骑兵来往冲杀，都采用战车、骑兵和步兵相互交叉配合的阵法，阵外四周遍设鹿角、蒺藜等物，骑兵留在最里面。杨素认为：“这只是巩固防御的途径，而不是夺取胜利的方法。”于是抛弃这种自我保守的落后阵法，改变战术，下令各军摆开骑兵阵势。
达头可汗闻之大喜道：“这是天助我！”并下马仰天而拜，即率十余万精骑直扑隋军。上仪同三司周罗睺看到突厥求胜心切，阵形不整，乃请令率精骑迎击，杨素指挥大军随后继进，大败突厥，达头可汗带著重伤逃跑，其众死伤不可胜数，号哭而去。另一路隋军在高颎的率领下，也大破突厥，都兰可汗败逃，后被其部下所杀。隋军追过白道（内蒙呼和浩特西北），越过秦山（今内蒙大青山）700余里，然后还师。十月，隋册封突利可汗为启民可汗，并令长孙晟率五万人在朔州西北筑大利城（今内蒙古和林格尔西北土城子）给启民可汗驻守，令其招抚突厥其它部落，为分化瓦解突厥，促进民族融合起了重要作用。
杨素在此战中，敢于弃陈旧落后的车、骑、步互相卫护的保守阵法，大胆使用骑兵突击，取得大胜，再一次显了其杰出的军事才能。战后，隋文帝下诏褒奖，赐杨素缣二万匹，及万钉宝带。加其子杨玄感位大将军，杨玄奖、杨玄纵、杨积善皆为上仪同。
杨素很有随机应变的谋略，总是把握好时机去同敌人作战，他应对情况的变化并不拘泥于一定的方法，而控制军队严厉有序，如果有谁违犯了军令，他就立即斩首，没有宽容的。同时治军严整，其部如有违犯军令者，立斩不赦，而绝不宽容。每次作战前都寻找士兵的过失，然后杀之。每次多者百余人，少也不下十几人。由于杀人过多，以至“流血盈前”，而杨素却言笑自若。两军对阵时，杨素先令一二百人前去迎敌，若取胜也就罢了，如不胜而败逃者，无论多少，全部斩首。然后再令二三百人迎敌，不胜则照杀不误。所以杨素的部下对他极其敬畏，作战时皆抱必死之心，所以战无不胜，称为名将。杨素当时正受宠幸，隋文帝对他言听计从，所以杨素征战的将士，都微功必录。而其他的将领虽有大功，但都被文官谴却。所以杨素虽严厉凶狠，但由于他能够恩威并施，所以将士皆愿随其征战。
公元600年（开皇二十年）四月，步迦可汗率兵进犯隋边。隋文帝命杨素隋晋王杨广出灵州（治回乐，今宁夏灵武西南），同时又令汉王杨谅、柱国史万岁出朔州（治善阳，今山西朔县），合击步迦可汗。杨广为培植自己的势力，亲自与杨素结交，杨素也知杨广有夺位之心，遂投其门下。
公元601年（仁寿初年），杨素取代高颎做了尚书左仆射。隋文帝赏赐给他好马一百匹、母马两百匹、奴婢一百口。这一年，高祖又拜杨素为行军元帅，前往云州攻打突厥，连连破敌。突厥逃跑，杨素率领骑兵紧追不舍，到夜里终于赶上。杨素想再次进攻，又怕敌人分散逃跑，就命令骑兵稍稍跟在后边。他于是亲自带领两名骑兵和两个投降的突厥人潜入敌阵，同敌人一起前行，敌人没有发觉。等到敌人停下来，止宿屯驻的地方还没安排好，杨素命令后边的骑兵突然袭击，大败他们。从此，突厥人逃得远远的，碛南再没有他们的踪迹了。
因为这次的战功，隋文帝让杨素的儿子杨玄感进位柱国，玄纵为淮南郡公，并赏赐给他织物两万段。
荣宠无比
公元602年（仁寿二年），文献皇后去世后，墓葬的规模制度，大多出自杨素之手。隋文帝认为很好，下诏书大大表彰他的功劳，封他的一个儿子为义康郡公，食邑一万户，世代承袭，并赏赐给他良田三十顷，绢一万段，米一万石，金钵一个，装满了金子，银钵一个，盛满了珠宝，外加绫、锦共五百段。
当时杨素一天比一天显贵荣耀，他的弟弟杨约、叔父杨文思、杨文纪以及族父杨异，都是尚书，位列公卿。诸子虽无汗马之劳，也都官至柱国、刺史。杨素家童几千人，后院披罗挂绮的乐妓小妾就以千计。府第华丽奢侈，规模体制摹仿皇宫。当时有一个叫鲍亨的人，很会写文章，还有一个叫殷胄的，精通草书、隶书，都是江南的读书人，却因为高智慧的缘故埋没为杨素的家奴。杨素的内外亲戚和过去属下的官吏，都位列清静显要之职。杨素的显贵，南北朝以来无人可与他相比。
杨广刚做太子的时候，非常顾忌蜀王杨秀，就和杨素谋划陷害他，最后使杨秀被废黜。朝臣之中如果有违背冒犯他的，即使其非常忠诚地为国事着想，像贺若弼、史万岁、李纲、柳述等，杨素也在暗地里中伤他们。如果归附奉迎他或者是他亲戚，即使无才可用，他也一定加以推荐提拔。朝廷内外没有不怕他、不归附他的。只有兵部尚书柳述凭着自己驸马的身份，多次在隋文帝面前说杨素的不是。大理寺卿梁毗上书隋文帝，弹劾杨素作威作福。隋文帝于是逐渐疏远和猜忌杨素，后来下来力令说：“仆射是朝廷的辅政大臣，不可亲自处理那些细小的事务，只须三五天到官署一次，讨论一些国家大事就行了。”表面上显示对他的尊崇、优待，实际上剥夺了他的权力。
直到仁寿末，杨素不再处理事务。隋文帝曾赏赐王公以下的人射箭，杨素名列第一，隋文帝亲将外国进贡来的金精盘，价值万两，赐给了杨素。
助广登基
公元604年（仁寿四年），杨素跟随隋文帝驾临仁寿宫，隋文帝又多次赏赐宴席。等到隋文帝病重，杨素和兵部尚书柳述、黄门侍郎元岩等人入宫侍候。当时皇太子杨广住在宫内的大宝殿，怕隋文帝有什么不好的消息须要预先防备，于是亲自写了一封信，封好送出来问杨素。杨素记下宫外的形势，来报告太子。宫人却将回信误送到了隋文帝的住处，隋文帝见信大怒。这时，隋文帝宠爱的陈贵人又说太子对她无礼。隋文帝于是大发脾气，要召见已废的皇子杨勇。
太子与杨素谋划对策，杨素假传圣旨派东宫的士兵入宫守卫，出入都由宇文述、郭衍决定，又命令张衡守候隋文帝的病情。隋文帝就在这天晚上驾崩了，因此朝廷内外有很多非议。
公元604年（仁寿四年），隋文帝驾崩后，杨广登基，派车骑将军屈突通带着隋文帝的诏书，召杨谅回朝。杨谅知有异，不听从遂起兵反叛。杨谅命蠕蠕天保占领蒲州，烧断了河桥，又派王耳冉子率领几万人与他合力防守。杨素率领五千轻骑前去偷袭，他先隐蔽在渭口，夜间悄悄渡河，黎明时发动进攻，蠕蠕天保大败而逃，王耳冉子因害怕而开城投降。杨广下诏书召回杨素。
起初，杨素出发之前就计算过几天可以打败敌人，结果不出所料。杨广又拜杨素为并州道行军总管、河北安抚大使，率领几万人讨伐杨谅。当时晋州、绛州、吕州州城都被杨谅守住，杨素各派两千人去牵制他们。杨谅命令赵子开拥十余万之众，占领了所有的道路，盘踞在高壁，摆开五十里的战阵。杨素命令部将带兵正面对敌，自己则率领一支队伍潜入霍山，沿着悬崖深谷前进，直捣叛军老巢，一举击败了他们，杀死杀伤的数以万计。杨谅所任命的介州刺史梁修罗驻守在介休，梁修罗听说杨素来了，非常害怕，弃城而逃。杨素继续前进，到达清源，离并州还有三十里。杨谅率领部将王世宗、赵子开、萧摩诃等将近十万人马，前来迎战，杨素又打败了他们，活捉了萧摩诃。杨谅退守并州，杨素进兵包围了他，杨谅无计可施，非常窘迫，只好投降，其余党羽也都一一铲平。
杨广派遣杨素的弟弟修武公杨约携带亲笔诏书慰劳杨素，杨素见诏后也上表陈述了自己的谢意。这个月杨素回到京城，跟随杨广抵达洛阳。杨广任杨素为营建东京的大监。因杨素平定杨谅有功，炀帝拜他的儿子万石、仁行，侄子玄挺都为仪同三司，并赐给他们织物五万段、绮罗一千匹，赐杨谅妓妾二十人。
去世
公元605年（大业元年），又升杨素为尚书令，赏赐给他东京上等府第一处，织物两千段，不久又拜为太子太师，其他职务不变，前后赏赐给他的东西不知有多少。
公元606年（大业二年），杨广拜杨素为司徒，又改封他为楚公，食邑两千五百户。这一年，杨素死在任上。谥曰“景武”，杨广追封他为光禄大夫、太尉公、弘农河东绛郡临汾文城河内汲郡长平上党西河十郡太守，赐给他载丧的鍂车、为他执斑剑的仪仗四十人，以及鍂车前后的仪仗队和乐队，还赐给谷子小麦五千石、织物五千段，派鸿胪卿专门监督办理丧事，并且下诏书表示哀悼。
杨素曾经作了一首共七百字的五言诗送给番州刺史薛道衡，气势非常宏大，风韵出众，堪称一时的上乘之作。写后没几天，杨素就死了。薛道衡叹息说：“人快要死的时候，他的话语也变得很友善了，难道就是像这样的吗？”杨素留有文集十卷。杨素虽然有辅佐隋文帝建国立业的谋略，并且有平定杨谅的功绩，然而却深为杨广所忌。杨广面显出对他特殊的礼遇，实际上恩情却很淡薄。太史官说隋地所属的分野将有重大的丧事发生，杨广因而改封杨素为楚公，因为楚地和隋地属同一分野，杨广想借杨素来拦挡遭丧的运气。
杨素卧病在床的时候，杨广常派一些有名的医生前去诊治侍候，并且赐他许多上好的药品，然而却总在暗地里问医生，总怕他不死去。
杨素知道自己的名望和地位已到了极限，不肯吃药，也不想谨小慎微地活下去了，经常对弟弟杨约说：“我难道还要活下去吗？”杨素依仗自己富足的钱财，广求家产，东西二京他的居宅奢侈华丽，早晨拆毁晚上重建，营造修缮从不停止，在各方的大城市，他的旅店、水磨和肥沃的田地、华丽的房子都以千百来计算。当时人们议论纷纷，并且因此而瞧不起他。杨素死后，长子杨玄感继承了他的爵位。后来杨玄感起兵事败，遭到诛杀，杨素的家族也因受杨玄感的牵连都被株夷。
0
