Ngay từ năm 1933, sau 1 năm lên cầm quyền, Bảo Đại đã đến đây và cho xây dựng Biệt thự nằm trên đỉnh đồi Vung, cao 36m so với mặt nước biển, thuộc khu II Đồ Sơn. Biệt thự được xây từ năm 1928 của Toàn quyền Đông Dương Pafquiere. Ngày 16/6/1949, Toàn quyền Đông Dương tặng cho vua Bảo Đại. Từ đó ngôi nhà này được gọi là biệt thự Bảo Đại.
Mỗi lần ra kinh lý miền Bắc, Bảo Đại đều đến Đồ Sơn và nghỉ tại biệt thự này. Đứng ở đây có thể nhìn toàn cảnh bán đảo Đồ Sơn và thả tầm mắt theo sóng biển mênh mông đến tận chân trời. Hơn nữa, khí hậu ở đây ôn hòa, mát mẻ. Với tổng diện tích là 900m2. Biệt thự có phòng tiếp khách, phòng họp, phòng ăn, phòng ngủ của Vua, Hoàng hậu, các Hoàng tử và Công chúa.