刘杳字士深，平原郡平原县人。祖父刘乘民，刘宋时任冀州刺史。父亲刘闻慰，齐朝时任东一陽一郡太守，政绩清廉，事迹记录在《齐书·良政传》中。
刘杳只有几岁，征士明僧绍见到他，抚一摸一着他的头说：“这小孩真是一匹千里小马。”十三岁。父亲去世守丧，每次痛哭，哀伤得让过路人也感动不已。天监初年，任太子博士、宣惠豫章王行参军。
刘杳年少时十分好学，博览群书，沈约、任窻等人，每遇到有些遗忘、记不起来的史事诗句，都来问刘杳。曾与沈约坐在一起谈到宗庙祭祀用的酒杯，沈约说：“郑玄曾回答张逸，说在酒杯上画凤凰尾巴摇曳的样子。现在没有这样的器皿，所以不仿照古代。”刘杳说：“这话未必有参考价值。古代的杯子器皿，都将木头刻成鸟兽的形状，在其背部或头部凿一个洞，以便倒出内装的酒。前不久魏朝鲁郡地下发掘出齐大夫子尾送给女儿的器物，有酒壶呈牺牛形状。晋朝永嘉年间盗贼曹嶷在青州挖齐景公的墓，又得到相同的二只樽，形状也像牛。这两处都是前人留下的器物，想必不是假的。”沈约特别同意他的看法。沈约又说：“何承天的《纂文》奇异广博，书中记载了张仲师和长颈王两件事，出处在哪里呢？”刘杳说：“张仲师身长一尺二寸，出自《论衡》。长颈指毗骞王。朱建安在《扶南以南记》中说：‘从古至今这里的人长寿不死。’”沈约随即找来这两本书查对，完全和刘杳讲的相同。沈约在乡间修的居宅落成时又新建书房，刘杳写了两首诗祝贺他，并将诗文给沈约。沈约立即让擅长书法的人将他的诗题写在墙壁上，还专门写信回谢说：“我生平一爱一好嗜欲不在于常人所盼的荣华富贵，喜欢山川林泽，自然山水，又多被世事夺挤。老之将至，这种心一性一快没有了，但仍然有些闲情逸志，留恋清静的旷野，在乡下修建居室，不是为了停止工作，而是为了了却夙愿，偶尔能得到休息。仲长游居的地方，休琏记述的美景，盼望、羡慕很久却不能亲临其境，怎能相比。你寄情山水，惠寄两首诗，文采丰富妍丽。叙述议论并举，字里行间，音韵对仗工整，有声有色，经你这一写，此地似乎真的变美了十倍。我深知华丽的辞章让人受益不浅，这种事的确很多，所以应当放在高处，无论是坐着还是躺着都能吟诵观赏。其他几篇文章，也都是极好的作品，加上寒舍既有了这样的好诗，诸贤士来访时自然有高见奇论，治病解闷，都可做到。他日叙谈会面，再一起讨论赏析。”沈约对他竟如此赏识。又有一次与任窻在一起，有人招待任窻螦酒而误作木展字。任窻问刘杳：“这个字对吗？”刘杳回答说：“葛洪在《字苑》中写作木旁的..。”任窻又问：“酒能让人醉千日，肯定是假话。”刘杳：“桂一陽一程乡有千里酒，喝了后回到家里便醉了，也是这样的例子。”任窻大惊说：“我自己一定是忘了，的确不记得这件事。”刘杳说：“此典出自杨元凤所写的《置郡事》。元凤是魏朝人，此书还记载了这样的赋说：三重五品，商溪揆里。”任窻当即找杨元凤的书查对，与刘杳讲的一字不差。王僧孺受命撰写家谱，问刘杳的血缘关系。刘杳说：“桓谭在《新论》中说：‘太史《三代世表》旁系都有记载，都仿效周谱。’以此类推，当发源于周代。”王僧孺感叹地说：“真是前所未闻。”周舍又问刘杳：“尚书官穿紫衣，戴橐帽，相传称‘挈囊’，究竟典出何处呢？”刘杳说：“《张安世传》说：‘手持橐握笔，侍奉孝武帝几十年。’韦昭、张晏注释说：‘橐，囊也。近臣持笔，以备顾问。’”范岫撰写《字书音训》，也求教刘杳。他博闻强记，像这样的例子很多。
不久皇帝又让他帮助周舍撰写国史。出任临津县令，政绩很好，任期满后，临津县三百多人到朝请求他留任，皇帝下诏同意了百姓的请求。刘杳因病请求离职，回京后任云麾晋安王府参军。詹事徐勉推举刘杳和顾协等五人进华林院撰写《遍略》，该书完成后，以原任职官兼任廷尉正，又因脚疾解职。因此有闲暇著《林庭赋》。王僧孺看了后赞叹地说：“沈约的《郊居》以后，便没有这样好的作品。”普通元年(520)，又任建康县令，提升为尚书驾部郎，几个月后改任署仪曹郎，仆射徐勉将台阁文议交由刘杳负责。出任余姚县令，在任期间清正廉洁，有人给他送礼，全都没有接受，湘东王对他大加称赞和褒奖。回京后任宣惠湘东王记室参军，母亲去世后去职离任。服丧期满，恢复王府记室官位，兼任东宫通事舍人。大通元年(527)，提升为步兵校尉，仍兼任东宫通事舍人。昭明太子对刘杳说：“酒不是你所喜欢的，但任酒厨之官，完全是为了不愧古人。”不久有诏令让他代替裴子野负责著作郎的事务。昭明太子死后，新立太子，按旧例原东宫人员都要离职调任，皇帝下诏特留刘杳仍在太子一宫任职。继续注释昭明太子的《徂归赋》，人称他知识广博。仆射何敬容奏请刘杳转任王府咨议，高祖说：“刘杳必须先经过中书。”于是任命他为中书侍郎，不久任平西湘东王咨议参军，仍然兼任东宫通事舍人和著作郎。提升为尚书左丞。大同二年(536)，死在官任上，年龄五十岁。
刘杳为人清廉俭朴，没有过多的嗜欲。生一性一不自暴自弃，不评论别人的长短是非，看了佛家的经典后，时常做善事，忍让克己。天监十七年(518)，自从为母亲守孝，便长期不食荤腥，专吃素菜。临死时，遗言用僧服装殓，用敞车运载，还乡安葬，随便选择一片墓地，只需安放下棺材就够了，不要设灵台祭筵。其子按他的遗愿办理了丧事。
刘杳从小到大，著作很多。撰写《要雅》五卷，《楚辞草木疏》一卷，《高士传》二卷，《东宫新旧记》三十卷，《古今四部书目》五卷，都流传在世。