狄公祠位于距縣城8公里黃嶺鄉姚家村西頭。此處原為唐舊縣街北門衙獄。據縣志載,唐武后天授二年九月梁公狄仁杰拜地官侍郎,同鳳各鸞間章平章事,明年,改長壽元年正月被來俊臣所誣貶為彭澤令。七月至縣,值歲大旱,民罹饑謹,即抗疏乞免民租,雖皇上免租,但前任縣令在縣牢關押了三百多名無辜抗租農民,狄仁杰辯悉冤情后,在年末全部放回家中過年,約期返獄,到期僅二名死囚遲到,一為隔江大風所阻,二為老母去世,狄公以恩德及人,均免死罪,將全部罪犯開釋,眾囚感恩無所報答,每人懷土一兜曰:“以土謝恩,土生萬物,狄公乃再生父母”,將土堆放獄側遂成小丘,后人稱為“縱囚墩”。后人在“縱囚墩”上建狄公祠。