陈士杰五岁起跟从堂四伯忠栖开蒙就读，忠栖喜作长歌大草。据陈士杰的《忠栖公行述》说：“取唐代诗稿，登楼去梯，恬吟密语，月余成诗，下笔多惊人语”。忠栖曾有名句“天犹异气人各性，医不拘方药有神”(《咏医》)和“相思好似帘织雨，点点滴滴不分明”(《旅夜不昧》)。忠栖有诗稿，毁于贼手。塔峰书院是忠栖倡建的，他首先捐出二亩五分田作为书院院田，并把自己用于治病的钱发给兴建塔峰书院的工匠。书院建成后任监院(相当于校长)，负责书院事宜。

　　塔峰书院是在陈、吴、黄、王四姓共建的文昌阁基础上扩建的。文昌阁建于何时，没有确切的记载。塔峰书院的兴建时间，知州陈同治在《塔峰书院重修记》中说是嘉庆二十五(1825)年，由陈朝缙和维新督建。陈士杰在塔峰书院读书时，除接受堂伯忠栖的教育外，还受到了伯父陈维新的教育。陈维新，州志上说“嗜酒，善书，喜戴笠独游，遇佳山水，流连忘返，行吟道中，旁若无人，时人呼之诗癫。”

　　塔峰书院，环境幽静，确是读书好去处。后来陈士杰功成名就后对塔峰书院进行了扩建，请左宗棠题写了“塔峰书院”匾额挂在书院门首，请曾国藩题了“泗水渊源”挂在讲堂中间，还亲自作了《塔峰书院记》。记是这样写的：

　　塔峰去村里许，平地起小阜，高约十余丈，广百余丈。旧有古刹香山，石塔巍然。吾族立学于此，因以为额。躞蹀登山外围短垣，树木阴翳。内凡三厅，前后厅斋房各二舍，中设讲堂，左右廊各六舍，另建内外舍各半，学斋隙地各花卉供闲览，左侧设厨房，右侧置仓舍。地固高爽，堪以游目，远眺下瞰街市不闻喧杂声，亦桂北名区也。然自建学以来，先后肄业者试辄不利，垂三十年。堪舆家以为前无秀峰使然。岁丙午，余从龙卿先兄馆此，散步院外见坛山侧小山端平，思建塔以培风水，力悭未逮。是年余入郡庠，嗣后先兄积年讲学，英俊云集。科岁试门下士获售者二三人及四五人不等，而族生文炳，采芹食廪乡举悉馆兹山，同一讲舍何前后通塞相去若此耶?此以见士励学固不在山水之佳丽与否也。夫时运有兴衰转移，视人志颓废自甘是为衰机，鼓舞向上是为盛机。譬各稻然，芟夷而蕴崇之朝夕，靡懈共收获未有不倍于寻常者，至于经师人师求分难易，苟得其一，便足千秋。考斋中匾额塔峰书院为恪靖侯左文襄公题，泗水渊源为毅勇侯曾文正公题。二公文章经济一代伟人。学者观物慨想，景仰前徽，究心经世，宰物之书，奉为躬行实践之要，抗心希古，志期达大，如龙隐鳞嘘气则成云雨，如藏羽飞鸣则叫归昌，时地虽异，求志则同，安在古今人，必不相及哉，颜子曰，有为亦若是，余日望之。

　　在塔峰书院，陈士杰和哥哥士元及堂侄贻济均有吟咏。陈士元作了塔峰书院杂吟六首：

　　频年此地设经帷，依旧生徒暂暂归。我似蠹鱼书里活，人如春燕社前稀。梅花高拱香成幄，桃叶低盘树作围，满院莓苔新翠长，飞来夹蝶醉芳晖。

　　山田过雨豆苗初，偷引青光入户除。为有名花招玉蝶，频添活水护金鱼。消闲且读无声画，选胜如探未见书，莫怪造庐空过坊，此间我已当家居。

　　山 头一槛府千家，近市人声杂鸟哗。岸冷秋枫红到寺，署荒青草绿生衙。浇花早起兼催读，中酒宵深又饷茶，自笑壮心仍未已，喜招仲北说京华。

　　把酒吟风爱日长，身闲只为种花忙。谈深不觉月痕白，坐久时闻兰气香。名利两途嗤画饼，文章八股厌世秕糠，捧将明镜一回首，被墨磨人鬓已苍。

　　起步回廊树影疏，凉飚微动透轻裾。钟敲红叶僧归后，酒熟黄花雁到初。满院露光朝冼砚，一窗灯影夜抄书。神疑秋水全凭悟，妙义如环谁启予。

　　种得芭蕉绿过屏，夜深滴露响微停。塔旁树影疑人立，月下书声当笛听。花竹自随春旖旎，琴笙应憾客飘零。更阑应绕行廊望，应有天边处士星。

　　陈贻济写道：宏开艺院重师儒，泗水渊源道不孤。自笑虫雕同画虎，明公留记我留图。最爱湘南景物闲，游人到此便开颜。流峰为笔坛山砚，门外催流水一湾。回瞻院后塔重重，直质虚心道气钟。最是醒人觉悟外，香山寺里一声钟。浴水春风有化机，绛帷频设记经师。四时烟景添惆怅，沙壁犹笼杂咏诗。

　　陈士杰写道：万丈青松拔地栽，不偏不倚出尘埃。天生老干凌霄劲，一任狂风暴雨来。

　　有了两位伯父的教导，加上父兄的榜样，陈士杰读书勤奋用功，学业大进。