吴氏宅第建于1904年，为吴道台（光绪已卯年中举，曾任广东、甘肃、新疆、浙江布政使、巡抚等职）用40万两纹银，邀其表兄周颖孝督建，从浙江请设计施工人员，仿造宁绍台道衙署，结合扬州建筑风格，建设而成。

　　吴道台宅第原占地面积7930㎡，建筑面积5584㎡，现存面积2650㎡，坐北朝南。原有五条轴线，吴道台宅第除住宅部分外，在原北河下街东面，有一花园，名为“芜园”；北面有吴氏祠堂。1945年夏天发生火灾，烧毁将近3/5的面积。日军侵占扬州时又强行将花园与祠堂铲平，作为日军的练兵场。

　　吴道台宅第现存建筑有大门厅、测海楼、小洋楼、观音堂、大仙堂、爱日轩、轿厅、仪门、照壁等组成。第二条轴线至第五条轴线均为住宅部分，吴道台宅第成四方形，四周均为青砖垒砌的高大风火墙。中轴线上有门厅、西式楼、朱雀厅、凉厅、鱼池、测海楼等建筑，西部为内宅，前后三进，周以回廊，以开阔的石板天井相隔，高大宽敞。门厅是砖刻门楼，配以两个圆形大石毂，气势宏大。鱼池由矩形花岗石砌成，长方形，四周置镶花铁栏杆，池水与宅外水域相通。鱼池之大，为扬州之最。

　　整个吴道台宅第规模宏大，结构精巧，雕工精致，保存完好，融入了中国古典建筑与西洋古典建筑的特色，展现了中国古典文化与旧时官府文化的精髓，为扬州古建筑中独具一格的住宅建筑群。

　　院士史料陈列馆2013年建成开放。展馆利用了吴氏宅第的东路建筑，即测海楼、廊道及观音堂，面积800平米。分前言、中国院士制度、扬州院士生平事迹、“吴门四杰”等四个版块。展览以多种形式进行，既有文字图片，也有实物，还有各种雕塑，同时采用声光电高科技手段和多媒体技术，播放院士们珍贵的影像资料。在70多位院士中，既有“吴门四杰”这样声名显赫的院士家族，也有非扬州籍但在扬州工作多年的院士，此外，还有险些被人遗忘的外籍的院士中的扬州人。

　　2006年吴氏宅第作为清代的古建筑，被国务院列入第六批全国重点文物保护单位。