Двухэтажный особняк в Потаповском переулке (ранее — Большой Успенский переулок по названию церкви, которая строяла на углу с улицей Покровка до середины 1930-х годов) был построен в середине XVIII века. В 1780-х годов усадьба была приобретена богатой семьей Пашковых, которые выстроили новый главный дом, служебные пристройки и даже большой пруд — непременная принадлежность богатых и больших городских усадеб. На его месте к столетию Отечественной войны 1812 года был построен полигон для знаменитой панорамы Бородинской битвы Франца Рубо, которая сейчас находится в музее на Кутузовском проспекте. Сегодня на месте пруда — дом № 12а по Чистопрудному бульвару. «В этом доме в 1811 г. родилась внучка хозяев дома, будущая известная поэтесса Евдокия Ростопчина. <…> В доме Пашковых бывал А. С. Пушкин. В последний день масленицы 1831 г. он приезжал сюда вместе с женой, чтобы принять участие в катании на санях» (Романюк С. К. Из истории московских переулков).