Одноэтажный, в пять окон дом (номер 34) построен в 1833 году на месте сада большой усадьбы. В 1838-ом он принадлежал корнетше Варваре Александровне Толстой.В конце 1850 года особняк снял у его новой владелицы, титулярной советницы Е.А. Ивановой, двадцатидвухлетний Л.Н. Толстой. Он приехал в Москву 5 декабря 1850 года по различным имущественным и семейным делам. Толстой остановился сначала в гостинице Шевалье в Камергерском переулке, а потом нанял квартиру из пяти небольших комнат в Сивцевом.

В доме в Сивцевом Вражке Л.Н. Толстой много читает и размышляет, продолжая штудировать Стерна и Руссо. Софья Андреевна Толстая позже записывает со слов Льва Николаевича, как тот вдруг берётся за перо: “В первый раз, живши в Москве, ему пришло в голову описать что-нибудь. Прочитав Voyage Sentimental par Sterne, он, взволнованный и увлечённый этим чтением, cидел раз у окна, задумавшись, и смотрел на всё происходящее на улице. “Вот ходит будочник, кто он такой, какова его жизнь; а вот карета проехала – кто там, и куда едет, и о чём думает; и кто живёт в этом доме, какая внутренняя жизнь их… Как интересно бы было всё это описать…”.

Так рождается замысел “Истории вчерашнего дня” — первой повести Толстого, много предвещавшей в будущей истории мировой литературы.