Đình Kiên Lao được xây dựng năm 981, thờ 2 vị tướng Đào Công Chiêu và Đào Công Hiển có công giúp vua Lê Hoàn thời Tiền Lê đánh duổi giặc giặc Tống giữ gìn đất nước. Nơi đây còn lưu giữ 2 cuốn thần phả và 12 đạo sắc phong thời Lê và thời Nguyễn. Đình được xếp hạng di tích lịch sử văn hóa cấp quốc gia năm 1995 và được quy hoạch là điểm du lịch cấp tỉnh năm 2008. Lễ hội đình Kiên Lao được tổ chức từ 15/11 đến 17/11 âm lịch hàng năm. Đình Nại Thượng được xây dựng từ năm 45 sau công nguyên, là nơi thời 7 anh em họ Hoàng có công giúp 2 Bà Trưng đánh đuổi quân Nam Hán năm 40 thế kỷ thứ nhất sau công nguyên. Di tích này được UBND tỉnh xếp hạng năm 2005. Lễ hội đình Nại Thượng được tổ chức trong ngày 14 và 15/11 âm lịch. 

Tại lễ hội năm nay, ngoài việc duy trì các hoạt động văn hóa mang đậm nét truyền thống riêng của lễ hội đình như: màn rước kiệu hay còn được gọi là “kiệu bay", các màn tế nam, tế nữ, chương trình biểu diễn văn nghệ với những tích chèo cổ, ban tổ chức còn tổ chức nhiều trò chơi dân gian như: Thi chấm cỗ, thi đấu cờ tướng, bóng chuyền, cầu lông và giao hữu bóng bàn…