《退步集》是陈丹青归国五年来部分文字的结集，三十余篇文章，话题兼及绘画、影像、城市、教育诸方面，自云“退步”，语涉双关，也可理解为对百年中国人文艺术领域种种“进步观”的省思和追问。
也许归功于长年的绘画训练，陈丹青的文字观察敏锐，细节刻画尤其生动，时有连珠妙语。书评人黄集伟说：“陈丹青虽是个画家，但很多散文家写不出他那样的文字。另外，读者们虽不是他本人，但这个海龟派笔下文化与语境的‘隔膜’与‘无助’，乃至‘欲拒还迎’的心态每个人都不难感同身受。”
在《退步集》中，有相当多的篇幅是陈丹青对当今城市建设的痛陈，大规模的城市建设将城市原有的文化生态和历史记忆无情地摧毁引起艺术家陈丹青肝肠寸断地“叫嚣”：“江南水乡已经没有了。”“今天新上海的改造，很遗憾，其整体的规划与设计在理念上是失败的，是以大面积放弃上海的居住传统为代价，全盘移植香港东南亚中产阶级的居住模式。在旧上海，‘法国’与‘上海’相处无间，在今天的新上海，既看不到‘法国’，也看不清‘上海’，‘东方的巴黎’已经自我肢解了。”“我深知这叫嚣无非是失败的哀鸣，其声调，有甚于真的失败。”