刘怀肃，彭城人，是高祖刘裕的姨表兄。他家世世代代都很贫穷，但他亲自耕种田地，非常好学。
怀肃刚开始当刘敬宣的宁朔府司马，刘敬宣东征孙恩，怀肃有战功，便再当龙骧司马，费县县令。听说高祖起义，刘怀肃丢下县中事务投奔刘裕。京城平定后，振武将军刘道规追击桓玄，又以刘怀肃当司马，桓玄留下何澹之、郭铨等戍守桑落州，刘怀肃前进攻击并打败了他们。颍川太守刘统被平定后，刘怀肃被用为高平太守。桓玄死后，他侄儿桓振在扬林大败起义军，起义军退守寻阳。刘怀肃和江夏相张畅之进攻在西塞山的何澹之，打败了何。伪镇东将军冯该戍守夏口的东岸，孟山图据守鲁山城，桓仙客防守偃月垒，都联营相守，刘怀肃和刘道规攻他们，亲自披坚执锐，攻陷其中两城，冯该逃到石城，活捉桓仙客。义熙元年(405)正月，桓振败逃，刘道规派刘怀肃平定石城，杀了冯该和他的儿子冯山靖。三月，桓振再次袭击江陵，荆州刺史司马休之出逃，刘怀肃从云杜连忙奔驰援救，日夜兼程，七天便到了。桓振布兵三万，旌旗盖野，跃马横刀，亲自冲击刘怀肃的战阵。飞箭伤了刘怀肃的额角，众人很害怕，想逃跑。刘怀肃睁大眼睛，更加奋勇冲击，他的部下也随之奋击，于是士卒们纷纷争先，在战斗中将桓振斩首。江陵平定，司马休之再回来镇守，他握着刘怀肃的手说：“不是你的帮助我便无处可归了。”伪辅国将军符嗣、马孙、伪龙骧将军金符青、乐志等屯据江夏，刘怀肃又讨伐他们，杀掉了乐志等。刘道规任命刘怀肃督江夏九郡，暂时镇守夏口。
刘怀肃被任命通直郎，同时当辅国将军、淮南历阳二郡太守。二年(406)又兼任刘毅抚军司马，将军、郡守还照旧。因为起义功劳，被封为东兴县侯，食邑一千户。那年冬天，桓右绥、司马国..、陈袭在胡桃山聚兵侵略，怀肃率步兵和骑兵打败敌人。江淮间的蛮人和桓氏余党造乱子，刘怀肃亲自请求出外讨击，走后违背了刘毅的意思，刘毅上表免去怀肃的官职。三年(407)去世，当年四十一岁。死后被追认为左将军。刘怀肃没有儿子，他弟弟刘怀慎让自己的儿子刘蔚祖继承了刘怀肃的爵位，刘蔚祖官至江夏内史。
蔚祖去世，他儿子刘道存继承他。太祖元嘉末年，当太尉江夏王刘义恭的谘议参军。世祖讨伐元凶刘邵，起义军到新亭，刘道存出奔，元凶刘邵杀了刘道存的母亲示众。前废帝景和末年，他当义恭的太宰从事中郎，义恭被杀，刘道存作为其党羽也被杀。