Генерал-губернаторский дворец был построен в 1857 году на месте сгоревшего Посольского дома. Новое здание было возведено генерал-губернатором Г.Х. Гасфорда специально для приема императорской семьи. И сегодня во дворце можно найти план-схему всех помещений. Помимо покоев, которые отводились для Романовых, также были предусмотрены комнаты для семьи губернатора и приемные кабинеты, где он работал.
Дом генерал-губернатора в стиле неоренессанса неслучайно получил статус дворца. Его спроектировали по разработкам департамента Министерства внутренних дел, всю обстановку привезли из Санкт-Петербурга. Кроме членов императорской семьи в нем останавливались и другие выдающиеся личности: Я. Приживальский, Г. Потанин, Я. Ядринцев. В Гражданскую войну тут находились руководящие органы сначала Временного правительства, а затем и советской власти.
Сейчас в здании дворца находится Музей изобразительных искусств им. М. Врубеля. В его залах находятся картины И.Репина, М. Шишкина, И.Левитана, М. Врубеля, Н. Рериха.