1825年(清道光五年)十一月，在衡永郴桂道桂阳直隶州泗洲寨的陈维之家里诞生一个男孩。这是陈维之家第二个男孩，依照排行取名仲清。由于祖父陈发祥，敬慕英雄豪杰，故取名士杰，字俊臣(后改字隽丞)。泗洲陈氏是州北大姓，来自福建，始祖为福建的陈孺，即著名的义门陈氏。陈孺的孙子陈海食采耒邑(今耒阳)，四世孙泳升于南宋淳熙年间由耒邑八甲迁居桂阳州泗洲司。陈发祥是陈泳升的十八世孙。《同治桂阳直隶州志》在《陈氏列传》称“陈发祥，州武生，身魁高大，善书法、诗赋，其草书闻名郴、桂二州。”发祥次子陈维之，郭嵩焘在《诰赠光禄大夫陈府君碑》中称“启诗书之令绪，冠英擢秀，垂弓治之良模，克服雅行”。士杰在《先府君伊公行述》称“天资英迈，尤精周易，中年以后以医术济人”。陈维之先是通易经，后又兼医术。陈氏的尚武精神来自泗洲巡检司的设置。清康熙六年(1667)二月，朝廷在泗洲寨设巡检司。泗洲巡检司拥有一定数量的“弓兵”或“卒伍”，但不属于正规的军队，巡检所统领的是从当地农民中佥点的弓兵。弓兵在当地招募，弓兵人数也有员额规定，一般都是30至50人。《同治桂阳直隶州志》载“民壮者，统于州县，奉诏募之，无额晌”，“民壮”者就是巡检司的“卒伍”。“卒伍”由巡检训练，平时务农，遇着“紧急事情”就为“兵”。陈发祥是泗洲巡检司卒伍的一位小头目。

　　陈士杰之父亲陈维之生于乾隆52年(1787)六月初二日，卒于咸丰二年(1852)二月。陈士杰出生时有这样一个传说。其父结婚年过三十岁只生了四个女儿，没有儿子，这在当时是一件“不孝”的大事。陈维之很是着急，于是到附近的香山寺抽签求子。回来当天晚上，陈士杰之母亲尹氏做了一个奇怪的梦。梦见有两个身穿官服的大官，在鼓乐声中从天而降，交给她两卷彩色帛书，其中一卷缺失了一角，吩咐她放在肚子上，可生男孩。尹氏立刻照办，果然33岁时生了士元，又5年后生士杰。

　　在陈士杰出生之前，已有四个姐姐和一个哥哥。长姐后来嫁给周文诗，次姐嫁与夏廷魁(即夏时之母、夏寿田祖母)。三姐嫁与尹东郊，四姐嫁与谢世荣。哥哥陈士元，生于嘉庆25年(1820)，卒于咸丰6年(1856)，年仅三十六岁。州志评价陈士元“学养深纯，仅叙教职而卒，士林惜之。遗有《补拙斋文集》。诗追陆务观，翩翩自赏，时出壮语，固一时之秀。”有人对陈士元早逝的先兆作了归结：五色帛缺失一角，预示陈士元福禄不全；《湘雅摭残》在分析陈士元的诗《早发东岗》说：“‘万竹陵空长，斜擎日一轮’是“‘咏朝日如落日，早夭之象’”。陈士杰的《先兄事略》说得较为客观：“幼时性嗜学，执卷夜不就枕，倦则以水沃面。精力倦矣”。

　　陈氏本是尚武世家，但道光十年发生的两件事，让陈氏由尚武转由从文了。先是清政府裁泗洲巡检司，改设立州同署，移州同署到泗洲街上署理政务。后是陈士杰五岁时写的一首诗改变了陈维之的初衷，让陈士杰专心读书。

　　这首叫《鸡冠花》的诗，收录在陈士杰的《蕉云山馆诗集》中第一篇，并且得到了时任州学使的肖汉溪和侍读学士丁伊辅(善庆)和顺天府伊梁矩亭(同新)的赞许。诗是这样写的：生就全身一色丹，昂首独立倚阑干。风前欲共祖生舞，月下浑疑仲氏冠。得志便飞千里远，雄心不畏五更寒。人家鸡惊羞同月，玉露连霄自饱餐。

　　据《同治直隶州志》和王湘绮《陈士杰六十九行状》等记载“士杰，自幼聪慧，质实端懿”，还例举了一件事予以佐证。陈士杰曾经跟随哥哥士元到亲戚家赴宴。宴会上有百多号人。其中有一个颜姓的老人看到陈氏兄弟后，对在座的客人说：“我听说天下大乱后，边远地方会出人才，我看陈氏兄弟是当之无愧的人才!”这个姓颜的老人善于看面相，怕大家不信，还当场作主，把他的女儿许配给陈士杰。颜姓老人的家人担心陈士杰家庭贫穷，怕女儿嫁过去受苦，有些不同意。但老翁坚持自己的观点说：“穷是暂时的”。这位老人名字叫颜玉衡。后来陈士杰用自己的行动证明了老人说的一切。从十多年后曾国藩对陈士杰的评价“隽丞外朴内朗，干济才也”，足可看出陈士杰的确有过人之处。陈士杰之父在陈士杰考取户部小京官后在门上题写“衣锦还乡，今日方知人子贵；卖田课读，当年曾笑老夫愚”的对联表示感慨。