世太史第始建于明代，因赵氏族中自赵文楷始，赵畇、赵继元、赵曾重四代翰林，故旧称世太史第、四代翰林宅。清光绪三十三年（1907）十一月五日，生前任九届全国政协副主席、民进中央名誉主席、中国佛教协会会长赵朴初先生诞生于此，故亦为赵朴初故居。

　　世太史第集古建与园林艺术于一体，占地面积4463平方米，建筑面积2773平方米。古建筑群坐北朝南，外墙青砖勾缝清水，古朴典雅。马头墙高低起伏，富有韵律。主体建筑系砖木结构，平面呈长方形，东西长42米，南北宽84米，分东路四进，西路三进，共七进。除西三进为三开间外，余均为五开间，面阔为20米，沿两条南北走向中轴线规整排列。每进两侧由厢房或回廊贯通。东一进、东二进，东三进、东四进，西一进、西二进之间为起采光和承接四面檐水作用的天井。后花园由六角亭、荷花池、假山、碑廊、园艺等组成，面积982平方米，似一颗碧绿的翡翠镶嵌在古建筑群西北部。

　　该建筑艺术讲究风水，选址巧妙。聚族而居，规模宏大。南北交融，彰显徽派。中轴对称，结构规整；一厅两厢或廊，开敞式厅堂连同狭小天井构成世太史第基本的建筑单元；砖雕、木雕、石雕技艺精湛，非常巧妙地把世太史第建筑室内外装修、装饰融为一体；点线面、黑白灰、清水勾缝外墙、白粉内墙、小青瓦的连绵不断组合成清新淡雅的世太史第外观形象。

　　世太史第风格融北方古建的恢宏、粗犷及徽州古建的细腻、精致于一体，有着浓郁的地方特色和历史、科学、艺术价值，也是安徽省保存较好、面积较大的一组明清古建筑群。

　　2006年世太史第作为明代的古建筑，被国务院列入第六批全国重点文物保护单位