1949年4月23日，中国人民解放军解放了国民党盘踞22年之久的反动统治中心南京，宣告了国民党反动统治的灭亡。中共中央在考虑南京市领导人选时，首先想到了中国人民解放军第二野战军司令员刘伯承。4月26日，刘伯承被任命为南京市军管会主任。5月1日，刘伯承担任解放后首任中共南京市委书记；10日，南京市人民政府正式成立，刘伯承任市长。
刚刚解放的南京，面临着十分繁重、复杂的艰巨任务，经济萧条、失业严重，国民党特务的破坏活动时有发生。在此严峻形势下，刘伯承一方面指挥第二野战军追歼残敌，开辟新区，一方面领导南京市的接管和恢复工作。他从恢复生产入手，将没收的官僚资本企业和其他厂矿企业尽快复工，解决工人和市民的就业问题，安定人心；果断地整顿金融市场，打击特务、奸商的破坏活动，同时清理散兵游民，给予适当安置，很快稳定了社会秩序。在城市的接管和恢复工作中，他坚决执行党的路线，依靠工人阶级，依靠劳动群众，团结一切可以团结的力量，积极开展统一战线工作，亲自与民主党派、工商界人士交谈，解除这部分人的思想顾虑，争取他们的合作。
上海、南京被解放的时候，国民党军舰“长治号”也在吴淞口外的海上起义驶来南京。刘伯承估计国民党当局决不会善罢甘休，于是命令“长治号”驱逐舰紧靠燕子矶停泊。国民党飞机连续不断地俯冲轰炸“长治号”。由于南京刚解放，人民解放军还没有制空权，“长治号”处境危急。刘伯承下令放水沉舰，“长治号”驱逐舰得以保存下来。
1949年7月中旬，刘伯承率领第二野战军挥戈西去，指挥解放祖国大西南的战役，离开了南京市市委书记和市长的岗位。
1999年4月，在南京解放50周年之际，南京人民为刘伯承塑造了铜像，以供瞻仰。
