因在淮水之南，古称南山。后来北宋书画家米芾从开封南来，舟行千里，一路平原，直至汴河中才隔淮望见南山，于是赋诗：“京路风尘千里还，船头出汴翠屏间，莫论衡霍撞天斗，且是东南第一山。”并题“第一山”三字。之后历代都有文人来游，在“第一山”赋诗抒怀，刻石留记。第一山所属范围内的敬一书院、试院、文庙、瑞岩观、县署等处，原有题刻172块，现尚存139块。按类型分，有摩崖99块，碑刻40块；从朝代看，最早北宋，最迟民国。上述题刻，有朝廷官府要员留记。如南宋吏部尚书余瑞礼、龙图阁学士曾考蕴、开封知府吕嘉间等。有文人学士的手迹。如米芾在第一山秀岩留下题名石刻二块。贺铸题有《上已晚泊龟山诗》、《元祐七年龟山晚泊诗》。杨万里题有《题东南第一山诗》、《玻璃泉诗》。