寺院依山而建，山势奇峻，古柏森然。俯瞰山下，洛水环绕，沃野千倾，千年敷政古城屹立对岸，周围美景尽收眼底。现唐代寺院已毁，山间遗留废墟多处，瓦砾、残石随处可见。

　　现存寺院为明成化年和清道光年重修，环山而建的有真武祖师殿、玉皇庙、九天玄女殿、观音阁、龙王庙等。寺院西侧的悬崖峭壁上石窟密布，有大小70多处，窟窟相通，洞洞串联，设计奇巧，十分壮观。金轮圣王祠的摩崖题刻记载了一些元、明时期的自然灾害，是研究洛河上游地区古代气候的珍贵资料。

　　传说古时香林寺西侧山崖上悬挂着一口巨大的铁钟，每逢初一、十五日，寺内僧人便将其敲响，钟声可传遍整个洛河川。

　　2007年县文物旅游局对香林寺进行维修保护时，在寺内西侧出土了一块巨铁钟残块，印证了香林晨钟名不虚传。

　　2007年下寺湾民众筹集款项，开拓道路，竖立山门，筑建神道，建钟楼、鼓楼，立文化碑廊，使香林寺恢复了昔日的恢宏。每逢古历四月十八，这里有传统庙会，群众云集，热闹非凡。