张辅字世伟，南阳西鄂县人，汉朝河间相张衡的后代，年少时便有才干，与从母弟刘乔一样有名声。
当初张辅补蓝田县令，在任上不为当地豪强所屈。当时强弩将军庞宗，是西州的大族，他的护军赵浚，是庞宗夫人的本家，因此他放纵僮仆横行霸道，是当地百姓的一大祸患。张辅按法律严厉制裁，杀了两个恶奴，又没收了庞宗的二百多顷田地分给贫穷之家，一县人都称赞他。又转任山阳县令，太尉陈准家中的僮仆也凶暴横行，张辅依然杀了作恶的家仆。累迁尚书郎，封为宜昌亭侯。
转为御史中丞。当时积弩将军孟观和明威将军郝彦不和，孟观借军中之事陷害郝彦，又有贾谧、潘岳、石崇等结帮相互吹捧、相互提携，还有义阳王司马威有欺诈假冒的事，张辅一一追究弹劾他们。梁州刺史杨欣姐姐新丧，不满十天，车骑长史韩预强行聘娶他姐姐的女儿为妻。张辅为中正，贬了韩预的官以清正风俗，舆论给予了赞扬。到孙秀执政时，司马威诬告张辅，孙秀被迷惑而轻信，准备按刑律惩治张辅。张辅给孙秀写信说：“我张辅只知道仰慕古人，当官办事，不知道稍稍为自己考虑一下。现在义阳王司马威就算是能宽宏大量，不和我计较，然而我母亲已高龄七十六了，也时常为我担惊受怕，怕我总有一天会因积怨而遭来灾祸。愿明公留神审查我任官前后的行事，只不过是一个忠于朝廷的愚臣而已。”孙秀虽一贯凶狠狡诈，也知张辅平素忠贞正直，是被司马威陷害诬告，就不再追究了。
后来迁为冯翊太守，这时长沙王司马磖看到河间王司马..专权横行于关中，有图谋不轨的迹象，就将此告诉了惠帝，惠帝密诏雍州刺史刘沈、秦州刺史皇甫重讨伐司马..。于是刘沈、皇甫重与司马..战于长安，张辅遂带兵援救司马..，刘沈等被打败。司马..感谢张辅的援救之情，就让他代替皇甫重担任了秦州刺史。当时援救司马..时，金城太守游楷也有战功，转为梁州刺史，他没有到任。游楷听说张辅回返原地，几次去迎接，想找机会除掉他。游楷杀了天水太守封尚，想逞霸于西疆。游楷召陇西太守韩稚一起商议，未有结果。韩稚之子韩朴勇武强悍，当场杀了有不同意见的人，接着召集军队攻打张辅。张辅与韩稚战于遮多谷口，张辅军被打败，张辅被天水故帐下督富整所杀。
当初，张辅曾著文论道：“管仲比不上鲍叔，鲍叔知道奉什么主，投什么国。管仲奉主得不到事业成功，所投奔的又是无作为之国，富贵后娶三姓之女，而又像君王一样行反土占之礼，这些鲍叔都不会干。”又议论班固、司马迁说：“司马迁的著作，文辞简约而事理清晰，叙三千年事只用五十万言；而班固叙两百年事却用了八十万言。繁简不同，这是班固比不上司马迁的第一点。良史记事，对善行应加以奖劝鼓励，对恶行要进行指斥监诫，这是极普通的道理。一些中等人物的微小之事，司马迁不予记载，而班固都记了下来，这是比不上司马迁的第二点。文中诋毁贬低晁错，有伤忠臣之道，这是比不上司马迁的第三点。司马迁是首创，班固是因循，其难易各不相同。司马迁为苏秦、张仪、范睢、蔡泽作传，辞采华丽流畅，也足以表现出了他的文才。故记辩士则辞藻华美，叙实录则准确简炼，所以司马迁称得上是优秀的史学家。”又评论魏武帝不及刘备，乐毅低于诸葛亮，其文章多不见记载。