1857年6月提理太平天国政务的翼王石达开，因遭天王洪秀全的疑忌，被迫逃离天京，率部远征，离开了太平天国的主要战场，大大削弱了太平军的力量。同年底，迫于清军压力，太平军因粮尽相继撤离瓜洲、镇江，使天京东路一翼暴露于清军面前。
1858年初，清军江南大营加紧围困天京;江北大营统帅德兴阿也率万余兵将，从扬州蒋王庙移营西进，于2月上旬抵江浦境内，连营数十里;清军水师总兵陈国泰，督战船从土桥溯江而上，封锁浦口与下关之间的长江南北通道，摆开了夹击天京的架势。
4月12日，江浦县城被清军攻占，太平军在江苏北部的地盘丧失殆尽，仅在九洑洲设有营垒，已难以阻挡清军的进击。为了解救京围，太平天国的首领审时度势，决定采取各个击破之策，先拔除战斗力较弱的江北大营，打开天京与浦口之间的通道。
6月间，李秀成率5000部众，于安徽芜湖渡江，进至乌衣、来安，向江北大营发起攻击，因兵力不足受阻，退踞全椒。李秀成约定与陈玉成齐集精兵，采取联合行动，以救天京。7月下旬于安徽枞阳召开作战会议，分析形势，统一部署，与会将领“各誓一心，订约会战”。
8月间，洪秀全分别授予陈玉成前军主将，李秀成后军主将，统率数万大军分路进军，陈玉成部从安徽潜山经舒城，进克庐州(今合肥市)，并联合捻军龚德树部攻定远，直下滁州。李秀成部则就近从全椒等地出发，在滁州一带与陈玉成部会师。
清方对陈、李联军南下意向已有所察觉，当时在安徽与捻军作战的蒙古都统胜保，缴获到太平军的密书，上报清廷，并通报德兴阿，嘱早为防范。此时，江北大营1.5万名兵勇，分布在200余华里驻地，呼应不灵，机动不便，难以迅速集中迎战，德兴阿飞咨江南大营统帅和春，赶紧拨援兵过江接应。9月17日，陈玉成、李秀成联军从滁州挺进乌衣，激战竟日，击败从小店往乌衣阻击的江北大营总兵鞠殿华部，清军溃退小店，太平军相继占领西葛、东葛。
18日，德兴阿派兵增援小店，江南大营派来的5000援兵，由冯子材带领到达前线，企图凭借山峦起伏的有利地形，遏制太平军继续进击，以解小店之围。太平军数万大军布满山谷，形成对清军四面包围之势。经三天鏖战，鞠殿华等部不支溃败，江南大营援师也大多死伤星散，仅余二三百人逃回江南。
江北大营小店防线全面崩溃，余部后撤以防护大营。太平军既扫清了江北大营的外围据点，随即作拔除大营的准备，拟定了分路总攻的计划：由陈玉成部担任正面强攻，李秀成部任侧后进攻，九洑洲太平军担负策应协同，牵制和阻击江南清军增援。26日，陈、李联军同时向江北大营发起总攻，首先突破陡冈防线，乘势从东路插入，西路和九洑洲太平军也同时出击，终于攻克江北大营所在地浦口城。
此役共歼清军万余人，德兴阿逃窜六合收集残兵。为了巩固胜利，扩大战果，太平军乘胜追击穷寇，陈玉成部先后攻取江浦、六合，李秀成部相继破天长、仪征、扬州，德兴阿残部直退至瓜洲、邵伯，兵勇已不足4000。
咸丰帝于1859年3月9日下令将德兴阿革职，并撤销了建立近六年的江北大营番号，江北清军统归和春节制。太平军二破江北大营之战，是一次谋定后动的著名攻坚作战。陈玉成、李秀成针对江北大营分兵把守、统帅刚愎无能的弱点，厚集兵力，以多击少，密切协同，分进合击，扫清外围，直插腹心，终于再次击破江北大营，沉重打击了清军的嚣张气焰，沟通了天京的对外联络。