咸丰三年(1853年)，曾国藩在长沙办团练处处受掣肘,于是想办法离开了长沙,来到衡阳创建属于自己的军队。

　　曾国藩决定移师衡州，在长沙的团勇，一部分带往衡州训练，其他调出长沙分驻醴陵、浏阳、郴州等地。要办属于自己的军队，必须要有自己的团队。曾国藩于是想到了陈士杰。曾国藩想到陈士杰主要出于以下几个方面的原因：

　　一来陈士杰为曾国藩的门生。道光二十八年，陈士杰以拔贡上京考小京官，朝考时，阅卷大臣正是曾国藩。曾国藩见他的策论议论风发，言之有物，欣喜地录取了他。从那以后，陈士杰视曾国藩为恩师。二来陈士杰曾受曾国藩恩。咸丰元年，陈士杰丁父忧，贫不能归。曾国藩躬为办装，棉衣车帘，悉取为赠。三来陈士杰为曾国藩弟同窗。陈士杰在岳麓书院时，曾和曾国藩弟曾国荃同学。四是曾国藩观陈士杰“外朴内朗，干济才也。”五是久闻陈士杰知兵。曾国藩听说陈士杰剿灭了彭运洪、李观龙、李明先等几起“乱民”。六是陈士杰系桂阳人，而桂阳当时属衡州府，陈士杰算是本地人。

　　在陈士杰的《感知录》中还记载了三件曾国藩关心他且非常和曾投缘的事：

　　一是朝考后，陈士杰以师生礼去拜见曾国藩时，九个人在一起喝酒，酒酣耳热之际投壶。投壶既是一种礼仪，又是一种游戏。投壶礼举行时，宾主双方轮流以无镞之矢投于壶中，每人四矢，多中者为胜，负方饮酒作罚。惟独曾国藩和陈士杰和李翰章三人射中三箭。二是陈士杰携家属刚到京城，就因父亲病逝必须赶回家，可是妻子和两个小孩子经过一路颠簸，十分疲劳，如果马上又赶回老家，怕身体吃不消。可陈士杰又担心自己走后，妻小住在会馆不方便。这时曾国藩推心置腹地说：“眷属可迁余宅，俟回籍安厝后即行回京”。当时曾国藩任少宗伯，即礼部的侍郎。因参加工作较早，在京城已经买了房子。三是陈士杰在唐训方的陪同下回家“丁忧”，曾国藩又叮嘱唐训方一路好生照顾，并请唐训方代他为陈士杰的儿女买了过冬衣裳。

　　曾国藩一回到衡州立马给士杰写了一封言辞恳切的信。信中有几句名言“求友以匡己之不逮”、“师友夹持，虽懦夫亦有立志”，至今仍然值得我们学习。曾国藩接连发出几十封信，请诸贤达共襄时事，但应者很少。他写给郭嵩焘兄弟的信中。备述艰难之情，真可谓欲哭无泪。

　　陈士杰接到信左右为难，去吧，自己守孝在家，于礼不合。不去吧，曾国藩对自己太好了，于情不合。陈士杰思前想后，也回了一封信，信中阐述三方面客观原因：兵事所为，纯为自保；守孝抽身，有违人伦；家乡不靖，不能远避。

　　曾国藩第二次又给陈士杰写了一封信。大意是现在国难当头，匹夫有责，大丈夫应当说报效朝庭。自古忠孝两难全，我都出山了，你还犹豫什么。其它的都不要说了，就算帮我一个忙，我欠你一个人情。随后以师长的口吻教导陈士杰，“清高太过则伤仁，和顺太过则伤义，是以贵中道也”。

　　陈士杰见老师话说到这个份上了，只得将家乡的事作了简单交待，不得已直上衡阳。他的《别亲友》：亲朋送我行，送我至岐路。强笑上征车，临行几回顾。望望不见人，但见垂杨树。青丝绾别情，欲去不忍去。正是表达了这样一种情感。