胡藩字道序，豫章南昌人。少年时成为孤儿，居丧以哀伤闻名。太守韩伯见了他，对胡藩的叔叔尚书胡少广说：“您的这个侄子一定会以义烈成名。”州府征召，他不去上任，等二弟加冠结婚完毕，才到郗恢的军幕中担任参谋。当时殷仲堪为荆州刺史，胡藩的妻兄罗企生是殷仲堪的参军。胡藩从江陵经过，去看望罗企生，从而劝说殷仲堪说：“桓玄的意趣没有常一性一，您对他的崇信太过分了，不是迎接未来的好方法。”殷仲堪很不高兴。胡藩下来后对罗企生说：“倒过戈一柄一来交给别人，必定会导致大祸，如果不早早离开，后悔就来不及了。”后来桓玄从夏口袭击殷仲堪，胡藩参谋殷仲堪后军军事。殷仲堪失败，罗企生果然因为跟从他而遭了祸患。
胡藩转换职务为太尉大将军相国参谋军事。宋武帝起兵，桓玄战败将要逃跑。胡藩拉着马缰说：“现在羽林军的射手还有八百人，都是过去西部的义兵，一旦舍弃他们，再想回归难道还能做得到吗？”桓玄只是用鞭子指着天空。从此奔逃，互相失散，后来他在芜湖追上了桓玄。桓玄见了胡藩，高兴地对张须无说：“您这一州总是多出士人，今天又见到了王修。”桑落失败后，胡藩的军舰被烧毁，他穿着铠甲跳入水中，潜泳了三十来步，才得以登岸。于是回到了家中。
武帝平时听说胡藩对殷仲堪直言劝告，又为桓玄尽节，便召聘他到本镇军中参谋军事。跟随征讨慕容超，慕容超的军队屯聚在临朐。胡藩告诉武帝说：“贼军屯兵城外，留守部队必然很少，现在前往攻取他的城池而斩断他的旗帜，这便是韩信战胜赵军的办法。”武帝便派檀韶与胡藩秘密前往，于是攻克了此城。贼军见城池陷落，立即逃走，退军去保广固。武帝又把它包围起来，将要攻下的那天夜里，忽然有一只鸟像鹅一样大，青黑色，飞入武帝帐幕中。众人都认为不祥。胡藩庆贺说：“青黑，是胡虏的颜色。胡虏归我，大吉大祥。”第二天早晨攻城，城被攻陷。他跟随征讨卢循到达左里，屡战有功，被封为吴平县五等子。
不久任命为鄱一陽一太守，跟随讨伐刘毅。起初，刘毅要去荆州，上表请求绕道东部回建邺辞别陵墓。离都城还有几十里，没再前行，面向宫阙叩拜。武帝前往倪塘会见刘毅，胡藩请求把他杀掉，便对武帝说：“您认为刘卫军在您以下么？”武帝说：“您以为怎样？”他说：“要论豁达大度，功高天下，聚集百万之众，合乎天人愿望，刘毅当然应该佩服您。至于涉猎记传，吟咏谈说，自许为雄杰，进行夸口，官绅白面之士，纷纷投归，在这方面刘毅就不肯在您之下了。”武帝说：“我与刘毅都有克复的功劳，他的罪过还没有彰显，不可以自相图谋。”到了现在，又对胡藩说：“以前如果听从了你在倪塘的计谋，就不需要有今天的行动了。”
他又跟随征讨司马休之，做了参军。徐逵之败亡，武帝非常生气，当天就在马头岸渡江。江津岸边峭壁千丈，司马休之临岸布阵，无法攀登。武帝叫来胡藩，命令攀登上岸，胡藩脸色犹疑。武帝发怒了，命令左右把他押来，想要斩他。胡藩不甘被杀，回过头来说：“宁可前进而死。”便用刀头在岸上凿孔，勉强容下脚指，径直上攀，随着攀上的人越来越多。登上以后，拼死战斗，终于打败了敌人。
跟随讨伐关中时，为太尉军事参谋，统领另一支队伍到了河东。暴风吹着辎重舰漂到北岸，魏军得到了这只军舰。胡藩十分气愤，率领身边十二人乘小船径直前往。魏骑兵五六百人，看见胡藩前来，一齐笑他。胡藩善于骑射，登岸射击，应弦而倒的约有十人。魏军通通退走，全部收复了所失的土地，然后返回。又派遣胡藩和朱超石等追魏军到达半城，魏军几万人进行合围，胡藩和朱超石兵不满五千，奋力作战，大破了敌军。武帝回到彭城，参与相国军事。议论他平定司马休之和广固的功劳，封为一陽一山县男。元嘉年间(424～453)，位居太子左卫率。死后，谥号为壮侯。儿子胡隆世继承了他的爵位。
胡藩的几个儿子，大都不遵守法度，第十四子胡遵世伙同孔熙先谋反，文帝因为胡藩是功臣，不想暴露这件事，便让江州官员借其他事情把他杀死。第十六子胡诞世，第十七子胡茂世，后来企图拥戴平民刘义康，交州刺史檀和之前往豫章，将他们讨平。