Theo một số thư tịch, năm 1702, có người tên Lê Ban lặn lội đến đây tịnh tâm tu tập. Nhà sư, đạo hiệu là Tịnh Giác, thường xuất hiện trước mắt người dân trong vùng dưới lớp quần áo tự làm bằng vỏ cây rừng nên được “gán” cho cái tên như vậy. Ông Núi là cách gọi nôm na, còn tên chữ của ngôi chùa là Linh Phong tự.