曾国藩办团练的总部在衡阳城北的蒸水岸边的桑园街，其余的火器所、军械所、银钱所、粮台等十多个机构全部设在桑园街的前前后后。现桑园街旁老一辈衡阳人还叫它演武坪，曾是曾国藩率领湘军演武练兵之地。

　　桑园街北端蒸水的南堤有一外码头，人称“桂阳码”，一则是此码头桂阳人多，二来是此处码头转运的都是一些来自桂阳的特产，如烟草中的“流片”和“樟片”等。

　　清朝，桂阳州隶属衡州府，陈士杰少年的府学考试就是在衡阳进行的，陈士杰食廪时在金鳌巷还拜见过房师。陈士杰对衡阳同样有着特别的感情。

　　陈士杰到达衡阳，正值寒冬之时。曾国藩见到陈士杰非常高兴，简单地寒暄之后，把陈士杰安顿在附近的祠堂里。

　　晚上，曾国藩在床上辗转反侧地想一个问题，今后如何训练这批湘勇呢?规模多大?建制如何?兵饷何来?心里装着事越发难以入睡。这时他忽然想起了陈士杰。陈士杰在桂阳老家搞团练效果不错，桂阳知州还向衡阳知府请过功。

　　于是，曾国藩来到安顿陈士杰的祠堂外面。此时陈士杰好象是预感到曾国藩要来一样，不约而同地走出祠堂，俩人在冰天雪地里边走边谈。

　　曾国藩询问陈士杰对杨守备、彭玉麟、杨载福等人的看法。陈士杰说，杨守备疏财好义，出于营武，可用也；彭玉麟爱憎分明有正义感，可以交付大事。陈士杰不认识杨载福，曾国藩要陈代他观察观察。

　　第二天，曾国藩又问起杨载福，陈士杰说，他到杨的船队看了一下，刀锚枪炮，都布置得井井有条且队伍整齐，是带兵的好料。

　　曾国藩接着又问了军队如何建制的问题。陈士杰谈了自己的意见。陈士杰说,绿营战斗力差,其关键在于四大通病：分汛设防、营制不一、调动不灵、将兵不相习。现在绿营的将官由兵部直接管理，将官不能直接统兵，只到战时临时拨给部队，而统兵之将多由文官担任，文臣不知兵，以文制武。这样虽然很好的防止了武将专权，但由于将不知兵，兵不知将，遇到战时临时抽调成军，上下不相习，号令不一，各自为战，败不相救，由此引起兵败如山倒的惨状。

　　陈士杰说，要训练一支属于自己的部队先要改革营制，其次要保证粮饷，再次是协调上下、平衡左右关系。

　　曾国藩听后觉得言之有理，依策而行。他首先改革营制度。先是改变清代的世兵制为募兵制。将领、勇丁必须由统兵者亲选自招，从而在湘军中自上而下地建立起严格的个人隶属关系，各军各营只附属于一人，各营互不统属。这样一改，湘军的机制成了兵为将有，以乡亲门生为纽带，以统帅为中心的制度，使整个军权集中在曾国藩一人手中。后世评价曾为近代军阀始祖，确实不为过。

　　再次是协调上下关系。当时各省都办起了团练，但都没有湖南这样大的规模，而且曾国藩的名义是帮办团练大臣，不是直接办，直办大臣是骆秉章。要办自己的团练，就必须和骆搞好关系，倚仗骆秉章。

　　在水军创设方面，陈士杰也向曾国藩提了一些建设性意见。现蒸水北堤还遗存湘军船厂旧迹——筷子洲船厂。湘军水师的战船就是在这个船厂里试验制造出来的。

　　军饷方面,曾国藩在衡州开设捐局，只是捐项寥寥，每日仅进钱一二百千。后陈士杰先动员富绅大户作表率，结果效果不错。曾国藩对陈士杰很赏识，曾多次想将一营的士兵交给陈士杰带领，但陈士杰坚决不干，曾国藩只好作罢。后来，陈士杰一直以参军(参谋军事)身份，随曾国藩左右。