Lúc đầu chùa chỉ là một thảo am nhỏ do Thiền sư Bảo Tạng khai sơn vào khoảng giữa thế kỷ 19. Về sau chùa được xây dựng lại khang trang với tên gọi chùa Cổ Thạch. Sau đó chùa lại nhập với chùa Bình Phước và được trùng tu mở rộng. Chùa được trùng tu nhiều lần từ 1956 đến 1964. Đứng trên chùa Hang, du khách có thể phóng xa tầm mắt chiêm ngưỡng cả vùng bãi biển mênh mông xanh biếc với rất nhiều tảng đá xếp chồng lên nhau tạo thành nhiều hình thù đẹp mắt.

Cách chùa Hang không xa là Hang Gió. Từ đây nhìn ra biển, bạn có thể thấy được bãi Cà Dược, bãi sỏi bảy màu (những viên sỏi trơn nhẵn có nhiều màu sắc khác nhau: từ trắng muốt, đen tuyền, xanh, vàng nhạt đến xám, nâu, rồi tím sẫm) uốn cong theo bờ biển xanh. Một làng du lịch Cổ Thạch mới được dựng lên với nhiều ngôi nhà xinh xắn theo kiểu nhà sàn để đón du khách về viếng chùa và thưởng ngoạn thắng cảnh.