羊祜，字叔子，泰山南城人也。世吏二千石，至祜九世，并以清德闻。祖续，仕汉南阳太守。父衟，上党太守。祜，蔡邕外孙，景献皇后同产弟。祜年十二丧父，孝思过礼，事叔父耽甚谨。尝游汶水之滨，遇父老谓之曰：“孺子有好相，年未六十，必建大功于天下。”既而去，莫知所在。及长，博学能属文，身长七尺三寸，美须眉，善谈论。郡将夏侯威异之，以兄霸之子妻之。举上计吏，州四辟从事、秀才，五府交命，皆不就。太原郭奕见之曰：“此今日之颜子也。”与王沈俱被曹爽辟。沈劝就征，祜曰：“委质事人，复何容易。”及爽败，沈以故吏免，因谓祜曰：“常识卿前语。”祜曰：“此非始虑所及。”其先识不伐如此。
夏侯霸之降蜀也，姻亲多告绝，祜独安其室，恩礼有加焉。寻遭母忧，长兄发又卒，毁慕寝顿十余年，以道素自居，恂恂若儒者。文帝为大将军，辟祜，未就，公车征拜中书侍郎，俄迁给事中、黄门郎。时高贵乡公好属文，在位者多献诗赋，汝南和逌以忤意见斥，祜在其间，不得而亲疏，有识尚焉。陈留王立，赐爵关中侯，邑百户。以少帝不愿为侍臣，求出补吏，徙秘书监。及五等建，封钜平子，邑六百户。钟会有宠而忌，祜亦惮之。及会诛，拜相国从事中郎，与荀勖共掌机密。迁中领军，悉统宿卫，入直殿中，执兵之耍，事兼内外。
武帝受禅，以佐命之勋，进号中军将军，加散骑常侍，改封郡公，邑三千户。固让封不受，乃进本爵为侯，置郎中令，备九官之职，加夫人印绶。泰始初，诏曰：“夫总齐机衡，允厘六职，朝政之本也。祜执德清劭，忠亮纯茂，经纬文武，謇謇正直，虽处腹心之任，而不总枢机之重，非垂拱无为委任责成之意也。其以祜为尚书右仆射、卫将军，给本营兵。”时王佑、贾充、裴秀皆前朝名望，祜每让，不处其右。
帝将有灭吴之志，以祜为都督荆州诸军事、假节，散骑常侍、卫将军如故。祜率营兵出镇南夏，开设庠序，绥怀远近，甚得江汉之心。与吴人开布大信，降者欲去皆听之。时长吏丧官，后人恶之，多毁坏旧府，祜以死生有命，非由居室，书下征镇，普加禁断。吴石城守去襄阳七百余里，每为边害，祜患之，竟以诡计令吴罢守。于是戍逻减半，分以垦田八百余顷，大获其利。祜之始至也，军无百日之粮，及至季年，有十年之积。诏罢江北都督，置南中郎将，以所统诸军在汉东江夏者皆以益祜。在军常轻裘缓带，身不被甲，铃閤之下，侍卫者不过十数人，而颇以畋渔废政。尝欲夜出，军司徐胤执棨当营门曰：“将军都督万里，安可轻脱！将军之安危，亦国家之安危也。胤今日若死，此门乃开耳。”祜改容谢之，此后稀出矣。
后加车骑将军，开府如三司之仪。祜上表固让曰：“臣伏闻恩诏，拔臣使同台司。臣自出身以来，适十数年，受任外内，每极显重之任。常以智力不可顿进，恩宠不可久谬，夙夜战悚，以荣为忧。臣闻古人之言，德未为人所服而受高爵，则使才臣不进；功未为人所归而荷厚禄，则使劳臣不劝。今臣身托外戚，事连运会，诫在过宠，不患见遗。而猥降发中之诏，加非次之荣。臣有何功可以堪之，何心可以安之。身辱高位，倾覆寻至，愿守先人弊庐，岂可得哉！违命诚忤天威，曲从即复若此。盖闻古人申于见知，大臣之节，不可则止。臣虽小人，敢缘所蒙，念存斯义。今天下自服化以来，方渐八年，虽侧席求贤，不遗幽贱，然臣不尔推有德，达有功，使圣听知胜臣者多，未达者不少。假令有遗德于版筑之下，有隐才于屠钓之间，而朝议用臣不以为非，臣处之不以为愧，所失岂不大哉！臣忝窃虽久，未若今日兼文武之极宠，等宰辅之高位也。且臣虽所见者狭，据今光禄大夫李憙执节高亮，在公正色；光禄大夫鲁芝洁身寡欲，和而不同；光禄大夫李胤清亮简素，立身在朝，皆服事华发，以礼终始。虽历位外内之宠，不异寒贱之家，而犹未蒙此选，臣更越之，何以塞天下之望，少益日月！是以誓心守节，无苟进之志。今道路行通，方隅多事，乞留前恩，使臣得速还屯。不尔留连，必于外虞有阙。匹夫之志，有不可夺。”不听。及还镇，吴西陵督步阐举城来降。吴将陆抗攻之甚急，诏祜迎阐。祜率兵五万出江陵，遣荆州刺史杨肇攻抗，不克，阐竟为抗所擒。有司奏：“祜所统八万余人，贼众不过三万。祜顿兵江陵，使贼备得设。乃遣杨肇偏军入险，兵少粮悬，军人挫衄。背违诏命，无大臣节。可免官，以侯就第。”竟坐贬为平南将军，而免杨肇为庶人。
祜以孟献营武牢而郑人惧，晏弱城东阳而莱子服，乃进据险耍，开建五城，收膏腴之地，夺吴人之资，石城以西，尽为晋有。自是前后降者不绝，乃增修德信，以怀柔初附，慨然有吞并之心。每与吴人交兵，克日方战，不为掩袭之计。将帅有欲进谲诈之策者，辄饮以醇酒，使不得言。人有略吴二儿为俘者，祜遣送还其家。后吴将夏详、邵顗等来降，二儿之父亦率其属与俱。吴将陈尚、潘景来寇，祜追斩之，美其死节而厚加殡敛。景、尚子弟迎丧，祜以礼遣还。吴将邓香掠夏口，祜募生缚香，既至，宥之。香感其恩甚，率部曲而降。祜出军行吴境，刈谷为粮，皆计所侵，送绢偿之。每会众江沔游猎，常止晋地。若禽兽先为吴人所伤而为晋兵所得者，皆封还之。于是吴人翕然悦服，称为羊公，不之名也。祜与陆抗相对，使命交通，抗称祜之德量，虽乐毅、诸葛孔明不能过也。抗尝病，祜馈之药，抗服之无疑心。人多谏抗，抗曰：“羊祜岂鸩人者！”时谈以为华元、子反复见于今日。抗每告其戍曰：“彼专为德，我专为暴，是不战而自服也。各保分界而已，无求细利。”孙皓闻二境交和，以诘抗。抗曰：“一邑一乡，不可以无信义，况大国乎！臣不如此，正是彰其德，于祜无伤也。”祜贞悫无私，疾恶邪佞，旬勖、冯紞之徒甚忌之。从甥王衍尝诣祜陈事，辞甚俊辨，祜不然之，衍拂衣而起。祜顾谓宾客曰：“王夷甫方以盛名处大位，然败俗伤化，必此人也。”步阐之役，祜以军法将斩王戎，故戎、衍并憾之，每言论多毁祜。时人为之语曰：“二王当国，羊公无德。”咸宁初，除征南大将军、开府仪同三司，得专辟召。初，祐以伐吴必藉上流之势。又时吴有童谣曰：“阿童复阿童，衔刀浮渡江。不畏岸上兽，但畏水中龙。”祜闻之曰：“此必水军有功，但当思应其名者耳。”会益州刺史王浚征为大司农，祜知其可任，浚又小字阿童，因表留浚监益州诸军事，加龙骧将军，密令修舟楫，为顺流之计。
祜缮甲训卒，广为戎备。至是上疏曰：“先帝顺天应时，西平巴蜀，南和吴会，海内得以休息，兆庶有乐安之心。而吴复背信，使边事更兴。夫期运虽天所授，而功业必由人而成，不一大举扫灭，则众役无时得安。亦所以隆先帝之勋，成无为之化也。故尧有丹水之伐，舜有三苗之征，咸以宁静宇宙，戢兵和众者也。蜀平之时，天下皆谓吴当并亡，自此来十三年，是谓一周，平定之期复在今日矣。议者常言吴楚有道后服，无礼先强，此乃谓侯之时耳。当今一统，不得与古同谕。夫适道之论，皆未应权，是故谋之虽多，而决之欲独。凡以险阻得存者，谓所敌者同，力足自固。苟其轻重不齐，强弱异势，则智士不能谋，而险阻不可保也。蜀之为国，非不险也，高山寻云霓，深谷肆无景，束马悬车，然后得济，皆言一夫荷戟，千人莫当。及进兵之日，曾无藩篱之限，斩将搴旗，伏尸数万，乘胜席卷，径至成都，汉中诸城，皆鸟栖而不敢出。非皆无战心，诚力不足相抗。至刘禅降服，诸营堡者索然俱散。今江淮之难，不过剑阁；山川之险，不过岷汉；孙皓之暴，侈于刘禅；吴人之困，甚于巴蜀。而大晋兵众，多于前世；资储器械，盛于往时；今不于此平吴，而更阻兵相守，征夫苦役，日寻干戈，经历盛衰，不可长久，宜当时定，以一四海。今若引梁益之兵水陆俱下，荆楚之众进临江陵，平南、豫州，直指夏口，徐、扬、青、兖并向秣陵，鼓旆以疑之，多方以误之，以一隅之吴，当天下之众，势分形散，所备皆急，巴汉奇兵出其空虚，一处倾坏，则上下震荡。吴缘江为国，无有内外，东西数千里，以藩篱自持，所敌者大，无有宁息。孙皓孙恣情任意，与下多忌，名臣重将不复自信，是以孙秀之徒皆畏逼而至。将疑于朝，士困于野，无有保世之计，一定之心。平常之日，犹怀去就，兵临之际，必有应者，终不能齐力致死，已可知也。其俗急速，不能持久，弓弩戟盾不如中国，唯有水战是其所便。一入其境，则长江非复所固，还保城池，则去长入短。而官军悬进，人有致节之志，吴人战于其内，有凭城之心。如此，军不逾时，克可必矣。”帝深纳之。
会秦凉屡败，祜复表曰：“吴平则胡自定，但当速济大功耳。”而议者多不同，祜叹曰：“天下不如意，恒十居七八，故有当断不断。天与不取，岂非更事者恨于后时哉！”
其后，诏以泰山之南武阳、牟、南城、梁父、平阳五县为南城郡，封祜为南城侯，置相，与郡公同。祜让曰：“昔张良请受留万户，汉祖不夺其志。臣受钜平于先帝，敢辱重爵，以速官谤！”固执不拜，帝许之。祜每被登进，常守冲退，至心素著，故特见申于分列之外。是以名德远播，朝野具瞻，搢绅佥议，当居台辅。帝方有兼并之志，仗祜以东南之任，故寝之。祜历职二朝，任典枢要，政事损益，皆谘访焉，势利之求，无所关与。其嘉谋谠议，皆焚其草，故世莫闻。凡所进达，人皆不知所由。或谓祜慎密太过者，祜曰：“是何言欤！夫入则造膝，出则诡辞，君臣不密之诫，吾惟惧其不及。不能举贤取异，岂得不愧知人之难哉！且拜爵公朝，谢恩私门，吾所不取。”
祜女夫尝劝祜“有所营置，令有归戴者，可不美乎？”祜默然不应，退告诸子曰：“此可谓知其一不知其二。人臣树私则背公，是大惑也。汝宜识吾此意。”尝与从弟琇书曰：“既定边事，当角巾东路，归故里，为容棺之墟。以白士而居重位，何能不以盛满受责乎！疏广是吾师也。”
祜乐山水，每风景，必造岘山，置酒言咏，终日不倦。尝慨然叹息，顾谓从事中郎邹湛等曰：“自有宇宙，便有此山。由来贤达胜士，登此远望，如我与卿者多矣！皆湮灭无闻，使人悲伤。如百岁后有知，魂魄犹应登此也。”湛曰：“公德冠四海，道嗣前哲，令闻令望，必与此山俱传。至若湛辈，乃当如公言耳。”祜当讨吴贼功，将进爵土，乞以赐舅子蔡袭。诏封袭关内侯，邑三百户。会吴人寇弋阳、江夏，略户口，诏遣侍臣移书诘祐不追讨之意，并欲移州复旧之宜。祜曰：“江夏去襄阳八百里，比知贼问，贼去亦已经日矣。步军方往，安能救之哉！劳师以免责，恐非事宜也。昔魏武帝置都督，类皆与州相近，以兵势好合恶离。疆埸之间，一彼一此，慎守而已，古之善教也。若辄徙州，贼出无常，亦未知州之所宜据也。”使者不能诘。
祜寝疾，求入朝。既至洛阳，会景献宫车在殡，哀恸至笃。中诏申谕，扶疾引见，命乘辇入殿，无下拜，甚见优礼。及侍坐，面陈伐吴之计。帝以其病，不宜常入，遣中书令张华问其筹策。祜曰：“今主上有禅代之美，而功德未著。吴人虐政已甚，可不战而克。混一六合，以兴文教，则主齐尧舜，臣同稷契，为百代之盛轨。如舍之，若孙皓不幸而没，吴人更立令主，虽百万之众，长江未可而越也，将为后患乎！”华深赞成其计。祜谓华曰：“成吾志者，子也。”帝欲使祜卧护诸将，祜曰：“取吴不必须臣自行，但既平之后，当劳圣虑耳。功名之际，臣所不敢居。若事了，当有所付授，愿审择其人。”
疾渐笃，乃举杜预自代。寻卒，时年五十八。帝素服哭之，甚哀。是日大寒，帝涕泪沾须鬓，皆为冰焉。南州人征市日闻祜丧，莫不号恸，罢市，巷哭者声相接。吴守边将士亦为之泣。其仁千所感如此。赐以东园秘器，朝服一袭，钱三十万，布百匹。诏曰：“征南大将军南城侯祜，蹈德冲素，思心清远。始在内职，值登大命，乃心笃诚，左右王事，入综机密，出统方岳。当终显烈，永辅朕躬，而奄忽殂陨，悼之伤怀。其追赠侍中、太傅，持节如故。”祜立身清俭，被服率素，禄俸所资，皆以赡给九族，赏赐军士，家无余财。遗令不得以南城侯印入柩。从弟琇等述祜素志，求葬于先人墓次。帝不许，赐去城十里外近陵葬地一顷，谥曰成。祜丧既引，帝于大司马门南临送。祜甥齐王攸表祜妻不以侯敛之意，帝乃诏曰：“祜固让历年，志不可夺。身没让存，遗操益厉，此夷叔所以称贤，季子所以全节也。今听复本封，以彰高美。”初，文帝崩，祜谓傅玄曰：“三年之丧，虽贵遂服，自天子达；而汉文除之，毁礼伤义，常以叹息。今主上天纵至孝，有曾闵之性，虽夺其服，实行丧礼。丧礼实行，除服何为邪！若因此革汉魏之薄，而兴先王之法，以敦风俗，垂美百代，不亦善乎！”玄曰：“汉文以末世浅薄，不能行国君之丧，故因而除之。除之数百年，一旦复古，难行也。”祜曰：“不能使天下如礼，且使主上遂服，不犹善乎！”玄曰：“主上不除而天下除，此为但有有父子，无复君臣，三纲之道亏矣。”
祜乃止。
