慈禧顾虑湘军北上清君侧，而曾纪泽放过慈禧，任凭肃顺集团被干掉，一方面是出于让清廷不再闭关锁国的考虑，还有一个方面的考虑，是想给曾国藩制造“清君侧”的机会。曾纪泽始终认为，湘军造反的最佳时机是1861年底。所以他一回到安庆，就尽力劝说曾国藩考虑以清君侧为名，派军北上。
那天深夜，曾国藩还在秉烛办公，曾纪泽进到父亲的书房问安，谈起清君侧的事。
“打仗需要烧钱！”曾国藩思虑了良久，对曾纪泽说：“其实湘军如果反清，最大的问题，还是老问题，无法筹集足够多的饷银。按照常规，一个湘军每月需要白银六两。也就是说，现在，光五万嫡系湘军需要的银两就是三十多万两。这不是一笔小数目。”
当时为曾国藩直辖军队提供军饷的省份主要是：曾国藩直接管辖的两江三省，即江西、安徽、江苏三省；湘军的大本营湖广两省，即湖南、湖北两省；东南诸省当中受太平军袭扰最少的广东省。
曾纪泽说：“湘军反清，湖南肯定鼎力支持。”
曾国藩苦笑，湖南设立东征局，专门抽厘供给曾国藩的直辖军队，其办法就是在湖南征收厘金的基础上再加半厘。这样，过往湖南的商人就要多交一半的商业税，利润空间大为减少，苦不堪言。商人又将损失转嫁到老百姓身上，导致湖南物价飞涨。老百姓买不起东西，日子过得很苦。有人假借岳麓书院山长之名，写了一篇洋洋洒洒的文章，将东征局说得十分不堪。湖南士大夫纷纷传诵这篇文章，弄得曾国藩名气受损，东征局也差点因此停办。
东征局里面的那些管事人，都是曾国藩的好朋友，他们不甘心失去湖南厘金这块最大的“蛋糕”，于是组织起一帮笔杆子，也写了一篇长文章，逐条批驳那位所谓的岳麓书院山长对东征局的“诽谤”。但商人、士大夫暗地里对东征局的抵制，伴随着东征局从设立到撤销的整个过程，从来就没有停止过。
曾国藩说：“说实话，湖南现在为我们供应了大量军饷，平均每个月有七八万两之多。但由于湖南本身财政情况的恶化，湖南不可能承担更多的供饷任务。对于兵员日益增加的湘军来说，依旧把湖南视为军饷的主要来源的做法，已经行不通了，必须从其他省设法筹集到更多的军饷才能够用。”
曾纪泽问道：“那湖北呢？湖广熟，天下足，鱼米之乡，也能为我们提供大量军饷。”
曾国藩摇摇头，说自1857年初湘军将太平军赶出湖北后，一直到1861年陈玉成突破鄂东北防线杀入湖北的这四年，湖北并没有遭遇过大的战祸。擅长行政的湖北巡抚胡林翼开展了湖北新政，湖北的财政情况得到了根本的改善。湖北也因此得以与湖南并列，成为湘军的重要根据地之一。然而好景不长。1861年，陈玉成、李秀成两支大军先后袭扰湖北，湖北经济快速发展的势头被终结。这时候，湖北省自顾不暇，自然不能供给湘军更多的军饷。
曾国藩说，去年胡林翼在武昌病逝，湖广总督官文迫不及待地总揽了湖北的军政大权。官文是满人，从情感上他更贴近八旗、绿营，对于日益强大的湘军，他一直存在着敌意。虽然他也为湘军的发展壮大做过一些事情，但也经常搞点小动作：“官文总揽湖北军政大权后，一改胡公在世时的政策，不再积极为湘军嫡提供军饷。除此之外，官文这人狡猾。凡是那些在湖北境内作战的湘军部队，他都积极提供粮饷。然而，对于那些在湖北以外区域作战的湘军部队，他则漠不关心，在提供粮饷的时候，总是要打折扣。”
曾国藩说，李续宜的部队在湖北作战的时候，官文提供粮饷的积极性是很高的。后来，李续宜被任命为安徽巡抚，受我节制。李续宜的部队也到了安徽。这时候，官文明确表示，只愿意供给李续宜部六成军饷，不足的部分由我们设法补足。至于那些与湖北毫无瓜葛的曾国藩嫡系部队，比如曾国荃的吉字营，官文更加不愿意提供粮饷。
曾纪泽说：“靠农民是筹集不了多少粮饷的，要靠商人。”
“这也难呀。现在最多的盐商，也提供不了多少钱。”曾国藩说，在盐厘方面，由于淮盐水路运输的通道被九洑洲的长毛阻断，而陆路运输的通道又被苗沛霖阻断，淮盐很难运往引地。另外，由于淮盐外运的通道长期被阻断，原本是淮盐引地的湖北、湖南、江西等地的老百姓已经习惯了吃川盐、粤盐等，此时即便有人冒着生命危险将少量淮盐运到上述地方，也很难销售出去。
湖北、湖南、江西等地的督抚也抵制淮盐输入，因为他们都从川盐入楚、粤盐入楚中尝到了甜头，向私盐贩子抽取的盐厘已经成了各省财政的支柱。一旦恢复淮盐引地，就损害了自己的利益。长此以往，商人也就不再运输，盐厘收入也就没了。
还有，洋人倒是可以把大量淮盐运来卖，九洑洲的长毛不敢惹他们，然而这些黄头发、蓝眼睛带着坚船利炮的私盐贩子不可能向我们交税，这方面的盐厘收入几乎没有。因为不用交税，这些洋人可以将盐以极低的价格抛售，倒也不愁没人买。那些冒着生命危险走正规程序的中国商人可享受不到这么好的待遇。他们要交税，价格就压不下来，而盐的品质又低于川盐、粤盐，买的人很少。总而言之，安徽省在这段时期内，盐厘收入是很少的。
“我们想从安徽入手解决粮饷问题，也是不现实的。”曾国藩说。
曾纪泽道：“那江西怎么样，江西的厘金、漕折银一半归湘军支配，充作军饷。”
曾国藩道：为了节约军饷，江西本省不养军队。如果遭遇太平军攻击，由湘军负责驱逐。然而，随着战争规模的日益扩大，我们的嫡系部队越来越多，军饷需求也日益增大，不得不突破当初的约定，向本属于江西巡抚支配的那一部分税收伸手。
江西巡抚毓科、江西布政使张集馨警告曾国藩说，江西每年都入不敷出，如果不提前想办法，就会耽误军需。他要求曾国藩裁撤部分湘军，以减少军饷的供给。他还在私下里指责曾国藩，说他不顾百姓承受能力，一味横征暴敛，是个十足的伪君子、假道学。