Chùa Báo Ân xưa được xây dựng trên bờ phía đông hồ Hoàn Kiếm vào khoảng năm 1846; với quy mô gồm 180 gian, 36 nóc nhà trên khu đất rộng gần 100 mẫu, mặt trước trông ra Sông Hồng, mặt sau dựa vào hồ Hoàn Kiếm. Tổng đốc Nguyễn Đăng Giai đứng ra chủ trì.
Sau khi chiếm HN, vào năm 1888, Pháp đã phá hủy chùa để xây nhà bưu điện (nay là Bưu điện Thành phố Hà Nội) và Phủ Thống sứ Bắc Kỳ (nay là Nhà khách Chính phủ). Chỉ còn Tháp Hòa Phong còn giữ lại, nay ở trên bờ hồ Hoàn Kiếm.