В 1913 году товарищество золотопромышленников братьев Шумовых начало строительство собственного дворца. Сегодня точно не установлено, где был создан проект этого здания, но, согласно городской легенде, он был куплен одним из Шумовых на Всемирной выставке в Париже.
Проект привлек внимание купца не только своей красотой, но и тем, что получил Гран-при выставки. Тем не менее, эти данные не подтверждены историческими фактами и о создании этого дворца практически ничего не известно. Впрочем, появление такой истории не случайность – дворец заслуженно считается одним из самых красивых зданий Читы. Таинственный архитектор создал проект здания, которое уместно смотрелось бы в любой европейской столице.
Задуманный братьями Шумовыми как место для размещения Общественного собрания, дворец сразу стал центром городской жизни. В 1918 году в нем была провозглашена советская власть, на протяжении Гражданской войны здесь размешались штаб и больница атамана Семёнова. В 1937 году дворец был передан Службе национальной безопасности, которая и находится в нем по сей день.