Распоряжением КГИОП «Сад усадьбы архитектора Д. Кваренги» (г. Пушкин, Средняя ул., 2/3, лит. А; Дворцовая ул., участок 1) включён в единый государственный реестр в качестве объекта культурного наследия регионального значения (достопримечательное место).
Освоение и застройка участка относится к 1780-м годам.
В 1783 году за казённый счёт здесь был построен деревянный одноэтажный дом на каменном фундаменте с подвалами (постройка находилась в ведении Царскосельского дворцового правления). Архитектор неизвестен, хотя в историографии встречаются предположения об авторстве самого Джакомо Кваренги, который с того же года «жительство имел» в этом доме.
В начале 1780-х годов Д. Кваренги работал над проектами сразу нескольких построек в Царском Селе и его окрестностях: Храма Дружбы, Холодной бани, Руины-кухни для Дворцового парка, четырёх православных храмов. В 1804 году по высочайшему указу здание вместе с садом передавалось в собственность архитектора.
Усадебный дом был возведён в приёмах классицизма, имел, вероятно, оштукатуренные фасады и простое оформление наличников окон.
На дальней половине участка был разбит сад с пейзажной планировкой и фигурным прудом. У границы сада со стороны нынешней Дворцовой улицы размещался Кофейный домик.
По городскому генплану архитектора Вильяма (Василия Ивановича) Гесте сложившаяся застройка квартала, где находилась усадьба, в начале XIX века подлежала урегулированию. Участок получил № 19, размеры предполагалось уменьшить по северной внутриквартальной границе. На проекте городского водопровода, составленном Гесте в 1809 году, показано единственное ответвление в сад Кваренги от Кухонного пруда, сделанное, видимо, ранее.
Исследователи предполагают, что изменение границ участка произошло при передаче домовладения после смерти Д. Кваренги князю, действительному статскому советнику, камергеру, начальнику егермейстерской конторы Фёдору Сергеевичу Голицыну.
В начале 1850-х годов после смерти Голицына владельцем участка стал гвардии ротмистр, будущий флигель-адъютант, генерал-лейтенант, шталмейстер, президент придворной конюшенной конторы князь Виктор Иванович Барятинский. При нём дом Д. Кваренги был разобран, и на его месте построено деревянное здание в приёмах эклектики по проекту архитектора Ипполита Антоновича Монигетти.
В начале XX века дом с богатыми интерьерами в стиле Людовика XVI принадлежал графине Елизавете Владимировне Шуваловой.
После революционных событий 1917 года здесь размещалась инструкторская биостанция им. В.В. Половцова, позднее – дом отдыха, сгоревший в годы Великой Отечественной войны.
В послевоенные годы угловой участок пустовал, затем на углу разбили сквер.
В начале 2000-х годов реализован проект строительства кирпичного здания на пятне застройки деревянного исторического усадебного дома, возведённого в 1783 году. В целом, проект нового здания практически полностью воспроизводит архитектурный облик и объёмное решение исторического деревянного усадебного дома.
Перед началом работ были проведены археологические исследования, в результате которых были выявлены и обследованы фрагменты исторических фундаментов дома Д. Кваренги, служебного флигеля, конюшен, а также Кофейного домика и оранжереи.
Использованы материалы государственной историко-культурной экспертизы выявленного объекта культурного наследия «Усадьба Д. Кваренги (фундаменты построек, сад)» (государственный эксперт – Трушковский В.Э.), выполненной по заказу СПб ГКУ «Дирекция заказчика по ремонтно-реставрационным работам на памятниках истории и культуры».