打仗是需要大量烧钱的，这一点，曾纪泽也心知肚明。而且，当时各国都跟清政府建立了外交关系，曾纪泽要与清廷分庭抗礼，或者反清，洋人的态度是个很现实的问题，需要解决。
李鸿章跟曾纪泽谈话时，一句话提醒了曾纪泽，跟洋人打交道，最重要的是一个”利”字！曾纪泽想到了一个好办法：那就是借外债，通俗点讲，叫借鸡生蛋。
曾纪泽知道，在近代历史上，甲午战争中，日本也是借钱打仗，借鸡生蛋。日本当时的军事预算，在1894年10月在日本广岛召开的第七届临吋议会通过的预案是临时军事费用是1.5亿日元和发行战争债券1亿日元，不仅使得日本有钱打仗，还使日本和英美的关系更加紧密。而日俄战争中，日本之所以能打败沙俄，重要原因就是日本发行了大量战争债券，日俄战争的战争费用高达17亿日元，是日本国家财政6年的预算，其中外债8亿，9亿内债透过增税取得，这17亿日元当时约合十亿两白银。
为了以后的战争做准备，而且让洋人支持自己，曾纪泽在上海不断截留各种关税的同时，还在向在上海的外资银行大举借债。
在上海借外资的条件也是得天独厚，自上海通商以后，英商丽如银行率先抢滩上海，到1864年，先后有利华银行、汇隆银行、麦加利银行、汇川银行、利生银行等十数家银行在华建立分行。而且上海堪称当时中国最为自由的城市，存在着多个国家的租界，有着相当宽松的政治经济环境，外国人享受相当大的特权，进入上海时甚至不需要签证。
这些涌入上海的外资银行，利用上海有利的资本环境，迅速扩大经营，对上海成为世界金融中心起了极大的推动作用。而这些银行中，有相当一部分是国际知名的大银行，它们的股东和客户中，有很多在世界经济中举足轻重的大财团和大公司，在各国议会核政府中有很大的影响力。
曾纪泽借款的抵押是上海租界周围，大约近八千亩的官地地一百年使用期，借款合约规定，还款期将从平定太平天国叛乱时起，分五十年还清，利息为百分之一点五。
狡猾的洋人们很清楚大清国的形势，他们知道太平天国的叛乱将很快结束，这笔钱稳赚不赔。曾纪泽向各国银行借了一千三百万两白银。曾纪泽将这些银子，一部分投入到军舰和弹药购买上，除了为他即将训练成军的一个步兵团，两个炮营购买武器装备外，还用来购卖弹药。这使得淮军仓库中储备的弹药，将足够在不依赖进口的情况下，支撑四到五年的消耗。而考虑到淮军的作战向来是不吝惜弹药，如果能节省使用的话。足够他们使用十年以上。
别一部分接近六十万两的银子，除了买下阿思本舰队，曾纪泽分别向英德再订购七艘炮舰，江南制造局仍在建设之中，甚至连一艘木船都造不出来，更何况就算船厂造成，以现有的技术能力，每年能造一艘铁皮炮舰就已经不错了，很难在短时间内为曾纪泽聚起一支足够强大的先进海军。所以，曾纪泽采取了当年李鸿章的手法，“造不如买”，只要肯花钱，在这样一个军火封锁不严重的时代，他绝对能够迅速建立起一支足以纵横中国的“华夏舰队”。
另外有一百万两白银，曾纪泽在上海还建立了淮军军官学堂，培养陆军军官，也培养海军军官，要求学员以坚持不说谎、不欺骗、不偷窃的荣誉信条，也不纵容他人违反；立志成为允文允武、术德兼备的军官；信守爱国、责任、荣誉、牺牲、团结、勇气、自信的核心价值，当然，爱国家不等于爱满清朝廷，是曾纪泽多次跟浦东学堂的学员强调的。
曾纪泽决定把淮军军官学堂设在崇明岛上，崇明岛地处长江口门户，比较大，是中国第三大岛，成陆已有1300多年历史，全岛地势平坦，土地肥沃，林木茂盛，物产富饶，是有名的鱼米之乡，便于陆军和海军学员学习与练武。而且崇明岛有金鳌山、寿安寺、孔庙、唐一岑墓、明潭、郑成功血战清兵的古战场等遗址，略加修葺，即可使用，还可节省人力和资金。
曾纪泽坐军舰登岛考察，发现崇明岛上，地势平坦，景观如同江南田地，初到崇明岛的人，甚至感觉不到已到了岛上。一片片绿油油的庄稼、一道道灌溉用的水渠，村落密布，道路交错，并无一般海岛的荒凉感觉。他让军官学堂的大门坐南向北，面临珠江，在牌坊门额上书有白底黑字的“淮军军官学堂”横匾，曾纪泽亲自手书，曾纪泽从小训练书法，书法也很不错，毛笔字自成一体，拿得出手。
淮军军官学堂建立时，曾纪泽又在门口亲手写了一副对联：升官发财请往他处，贪生畏死勿入斯门。每期学员招收两千人，陆军一千五百，海军五百，一期六个月。
曾纪泽亲自当淮军学堂的总教官，他也为淮军军官学堂的导师提供优厚的待遇，招收学员大多是那些从土改中获益的士兵和新编训入伍的农民。他们训练的步枪有三分之一以上是上海武器制造局生产的改进式连珠枪，这种经过加特林和斯宾塞主导改进后的步枪，还开设炮科、工科等军事课程，外聘有洋教员，一些淮军将领也经常去上课，比如刘铭传等。每期学员的开学典礼和毕业典礼，曾纪泽都是亲自参加，对他们耳提面命。
“大人，为何向洋人借这么多的银子呀，要借的话，上海有的我咱们本国的钱庄，这笔买卖，何必便宜了洋人。”刘铭传对曾纪泽这种做法不是很理解。
“东南半壁已是英法列强的势力范围，这其中又以英国人在华的势力最强大，咱们既要起事，英国人中立便罢，一旦他们站在了清廷的一边，咱们的处境就十分的不利。你看，如果那长毛有英国人的支持，他们还沦落到现在的这般田地吗？”曾纪泽解释说，“而且，我们的还款期很长，洋人要收回债，就得支持我们。别人万一不认账怎么办？哈哈。”