金刚寺位于城东1.5公里的寨子山麓。明万历三十两年，由延绥镇总兵杜文焕创坐。寺坐北背北，总占天5500仄圆米。三教殿院降为寺主体建建。三教殿和过殿均下低两层，底层均为砖砌五楼一枕通券洞，中接斗拱飞檐明廊建建，上层为砖木机关楼阁。三教殿内供老子、释迦、孔子，开三教于一体。寺本相况漂明，广植牡丹、芍药、偷忙、丁喷鼻等宝贵花草。庙门石阶下一浑泉流泻而过，环绕庙宇核心山梁，山廓充满桃树。 1937年抗和支做后，邓宝珊将军任晋、陕、绥边区总司令进驻榆林时即居此寺。后紧靠寺西辟筑密屋一院，额称”桃林山庄”，所刻笔迹乃依于左任脚书镌成。
