王祥字休征，琅王牙临沂人，是汉谏议大夫王吉的后代。祖父王仁是青州刺史。父亲王融，公府召他做官，未去就职。
王祥性情非常孝顺。母亲早死，继母朱氏对他不慈爱，多次在父亲面前说他的坏话，所以父亲也不喜欢他，常使他打扫牛圈，王祥更加恭谨。父母有病时日夜伺候，不脱衣睡觉，汤药必自己先尝。母亲想吃鲜鱼，当时天寒冰冻，王祥脱下衣服，准备砸冰捕鱼，忽然冰块融化，跳出两条鲤鱼，王祥拿着鲤鱼回去孝敬母亲。母亲想吃烧烤的黄雀，有几十只黄雀飞进王祥的帐篷中，王祥捉住给母亲吃。乡亲们对这些事感到惊奇而赞叹，认为是孝心感动天地，鬼神佑助的结果。王祥家有棵红沙果树结了果实，母亲令王祥守护，每逢有大风雨，王祥总是抱住树哭泣。他的孝心就是如此专诚而纯正。
汉末天下大乱，王祥扶持着母亲带着弟弟王览到庐江避乱，隐居三十多年，不受州郡的征召。母亲死时，王祥由于过分悲痛而致病，扶住拐杖才能站起。徐州刺史吕虔下公文召他做别驾，王祥已年近七十，坚决辞让不就任。王览劝说他，并给他准备了牛车，王祥这才应召，吕虔就把州里的政事委托给他。当时盗寇到处横行，王祥率领并鼓励士兵，讨伐盗寇，盗寇被一一击破。州内清静无事，政令教化推行无阻。当时百姓编首歌唱道：“海沂之康，实赖王祥。邦国不空，别驾之功。”
后被荐举为秀才，任温令，多次升迁，官至大司农。魏高贵乡公即位，参与制定国策有功，封关内侯，拜光禄勋，转司隶校尉。参与讨伐毋丘俭，增封地四百户，迁升太常，封为万岁亭侯。太子到太学巡查，任命王祥为三老。王祥以师长的身份面向南坐，凭着几案，扶着手杖。天子面向北坐，向王祥问治国之道，王祥陈述明王圣帝君臣施政化民的要领，以训导天子，听的人也都受到激励。
高贵乡公被杀时，朝臣都为之哀悼，王祥大声号哭说：“这是老臣的罪过啊！”涕泪交流，朝臣们都感到惭愧。不久，拜为司空，又转为太尉，加侍中。魏实行五等爵位后，封为睢陵侯，食邑一千六百户。
武帝司马炎封为晋王，王祥与荀岂页一起去会见他。荀岂页对王祥说：“相国很尊，何曾已经向他行最重的礼，今日去见他应当下拜。”王祥回答说：“相国确实很尊贵，然而还是魏的宰相。我们是魏的三公，公与王相差不过一个等级，上朝时的班列也是相同的，哪有天子的三公动辄去拜人的道理？这样会损害魏的威望，也有损于晋王的品德，君子爱护一个人应按礼行事，我不去拜他。”见到晋王时，荀岂页立即下拜，而王祥只是作了个长揖。武帝说：“今日才知道先生是多么看重我啊！”
武帝司马炎受禅即帝位，王祥拜为太保，晋爵为公，府中可置七官。武帝新即位，虚心征求直爽意见。王祥与何曾、郑冲等有德望的老臣，希望再朝见，武帝派侍中任恺向四个老臣询问朝政得失及急需解决的施政教化问题。王祥因为年老昏聩，多次请求退职，武帝不许。御史中丞侯史光认为王祥久病，不能按时朝会尽臣礼，请求免去他的职务。武帝下诏说：“太保德行高尚，是朕赖以兴隆政教的元老。前后多次逊让，朕没有答应他的要求，这件事有司不得议论。”便把侯史光的奏书压下来不作答复。王祥坚决要求辞官回故里，武帝下诏同意以睢陵公的身份退居府第，地位和太保太傅一样，在三司之上，俸禄赏赐和以前一样。并下诏说：“古代的官员卸职，不适用于王侯，今太保虽以国公爵位留居京城，不宜再有朝见的劳苦。现赐给几案与手杖，不朝见，有大事派人到府第征求意见。赐给安车驷马，宅第一区，钱百万，绢五百匹，及床帐席褥。将宫中舍人六名送给睢陵公作舍人，设置官骑二十人。以睢陵公之子骑都尉王肇为给事中，可以经常进府第省问。又因太保高洁清廉，家无宅第，暂且留住官府，等所赐宅第建成后搬出。”
王祥病重的时候，写了遗嘱训诫子弟说：“有生就有死，这是自然之理，我已八十五岁，死而无恨。不留遗言，使尔等无所遵循。我生在末世，被朝廷选用。任职多种，无护卫辅佐之功，死后无以报答。气绝后只洗手足，不必沐浴，不要以布帛缠身，根据季节，穿平时洗过的旧衣服。皇帝所赐的山玄玉佩、卫氏玉..、绶笥等，都不要带入坟墓。西芒山土质本来坚硬，不必用砖石砌，不要起坟垄。墓穴挖二丈深，椁只容棺即可。墓中不开前堂，不放几案，不置书箱镜奁之类的用具，棺材前可以放张坐具就行了。干饭肉干儿各一盘，薄酒一杯，早晚做祭奠用。家中大人小孩不必送丧，一周年两周年的祭日，可用牛猪各一。不要违背我的意愿！高柴泣血三年，孔子认为是愚蠢行为；闵子骞脱掉丧服出见客人，弹琴表示哀痛，仲尼认为是孝。所以过分哭泣哀伤，会给自己带来损害，饮食也要自己控制，适宜为度。言行经得起审查，这是信的最高要求；美则归人，过则责己，这是德的最高标准；扬名显亲，是最大的孝；兄弟和顺，宗族喜乐，是最好的悌；对待财货的态度首先是让，这五条是立身之本。颜子所以为夫子之命，原因也是这些。有些人是没有认真想问题，值得效法的榜样并不少。”他的儿子都奉行了这些话。
泰始五年(269)王祥死，皇帝下诏，赐棺椁一副、朝服一套、衣服一套、钱三十万、布帛百匹。当时文明皇太后死才过月。以后皇帝下诏说：“为睢陵公办丧，事已过去。朕虽每每为他的死哀伤，但还没有痛抒哀情。现在为他哭一场。”第二年，下诏追谥号为元。
王祥死时，奔丧的人不是朝廷贤臣，就是亲戚故吏，门前无其他亲人吊丧。族孙王戎感叹道：“太保可真算清达了。”又说：“王祥在正始时代，不是能说会道的那一类人，但和他交谈时，他的话很有道理，又表现其清远情操，这不是他的德掩盖了他的言吗？”王祥有五个儿子，王肇、王夏、王馥、王烈、王芬。