Лицевой корпус по Загородному проспекту был построен неустановленным архитектором в конце XVIII — начале XIX века (между 1798 и 1806 гг.) вскоре после прокладки Щербакова переулка.

В Санкт-Петербургской адресной книге на 1809 год указан владелец участка — петербургский купец 2-й гильдии Анкундин Савельевич Рогов.

В 1831 г. архитектор А.И. Мельников по заказу домовладельца составил проект пристройки к существующему лицевому дому по Загородному проспекту двух трехэтажных каменных жилых флигелей. Один, в 7 окон по фасаду, предполагалось расположить по красной линии Щербакова переулка, другой, 15-оконный — вдоль южной границы домовладения. В первом этаже нового надворного флигеля размещались каретные сараи или конюшни с широкими арочными проемами. Проект был осуществлен.

В 1830-е гг. кроме трехэтажного лицевого дома с новыми пристройками на участке существовали три деревянных флигеля, позднее разобранных.

Между 14 августа и 9 октября года 1837 г. А.С. Рогов продал свою недвижимость по Загородному проспекту, 2 и Щербакову переулку, 16 коллежскому асессору Федору Митрофановичу Еллинскому, который оставался собственником участка шесть лет. Ф.М. Еллинский из дворянского рода, православного вероисповедания. Его отец, Митрофан Никитич, медик по образованию, состоял консультантом при Мариинской больнице для бедных. Сам Федор Митрофанович окончил курс в благородном пансионе императорского Санкт-Петербургского университета. В 1826 г. вступил на службу в Министерство юстиции, являлся чиновником особых поручений при Департаменте этого министерства. С 1834 г. состоял в браке с Надеждой Семеновной Пустошкиной и имел сына Симеона и дочь Софию. В 1843 г. из-за расстройства здоровья уволен в чине надворного советника. При новом владельце никаких существенных изменений на участке не происходило.

В 1844 г. собственницей участка стала Александра Гавриловна Костылева. Ее муж, Александр Петрович Костылев происходил из купеческой семьи. Отец Костылева Петр Ильич, вдовец, состоял с 1839 г. купцом 1-й гильдии, имел собственный дом в Петербурге в Литейной части во 2-м квартале № 114/8, проживал «одним капиталом» с семьей сына. 9 января 1846 г. П.И. Костылеву выдана грамота на возведение его в потомственное почетное гражданство вместе с сыном и внуками. В следующем году. 8 апреля 1847 г., выдана другая грамота, где кроме перечисленных членов семьи была включена и его невестка Александра Гавриловна Костылева.

В 1862 г. архитектор Н.А. Газельмейер составил проект нового г-образного в плане двухэтажного каменного жилого дома на месте старых деревянных строений, завершившего периметральную застройку участка.

В 1866 г. дом был заложен в Городском кредитном обществе. Недвижимость на тот момент принадлежала сыну Александры Гавриловны Петру Александровичу Костылеву . В доме на тот момент имелось 30 квартир. В них проживали большей частью крестьяне, ремесленники, мещане. Здесь жили: содержатель белошвейного заведения Иван Семенович Базырин, содержатель магазина серебряных вещей под зданием Городской думы купец 2-й гильдии Александр Иванович Баймаков, учитель музыки Карл Гиллерт, служащий Министерства юстиции губернский советник Александр Иванович Иванов, парикмахер Леонтий Иванович Иванов, Павел Петрович Касаткин, учитель Александр Иосифович Масловский, потомственный почетный гражданин Иван Михайлович Пряшников (умер в 1879 г.) прачка Пелагея Ивановна Решетова, обойщик Иван Селивестрович Селивестров, купец 2-й гильдии Александр Григорьевич Собакин (содержал меховой магазин в Гостином дворе, № 56), сапожник Василий Васильевич Старков, медник Иван Терентьевич Терентьев, повивальная бабка Михалина Тржещковская, столяр Николай Андреевич Фомин, Анна Григорьевна фон Фрикен, оловянщик Пуд Романович Шигин.

В 1869 г. имение со всеми постройками за 67 тыс. руб. приобрел у Костылева петербургский 2-й гильдии купец Андрей Яковлевич Шевелев.

Выходец из купеческого рода г. Вереи Московской губернии, в 1863 г. Шевелев приехал в Петербург, записался в петербургское купечество и навсегда поселился в северной столице. В этом же году он обзавелся семьей, вступив в брак дочерью купца Екатериной Михайловной Аксеновой. У супругов родились сыновья: Павел (1865 г.р.). Иван (1866 г.р.) и Алексей (1868 г.р.). В 1868 г. Екатерина Михайловна умерла из-за неблагополучных родов. Оставшись вдовцом с тремя малолетними детьми, в том же году А.Е. Шевелев женится на мещанке Евдокии Васильевне Девятовой. Вскоре родилась дочь Александра. Глава семьи торговал сукном в Гостином дворе, с 1872 г. состоял рядским старостой суконного торга, участвовал в благотворительности, состоял членом Покровской общины сестер милосердия. За «воздаяние особых трудов и заслуг», оказанных общине, в 1903 г. его представили к награде орденом св. Станислава 3-й степени. В тот же год его вместе с женой Екатериной Васильевной, невесткой Надеждой Ивановной, урожденной Сромотко (вдовой умершего в 1899 г. от чахотки сына Павла) и внуком Павлом Павловичем возвели в потомственное почетное гражданство.

При новом владельце в 1877 году по проекту арх. .А. Мясоедова была осуществлены небольшие перестройки изменения лицевого фасада — заложена проездная арка по Загородному проспекту и перебита часть оконных и дверных проемов.

А.Е. Шевелев владел участком до своей кончины в 1909 г. После смерти купца недвижимость перешла к наследникам. Члены семьи Шевелевых состояли собственниками этого участка вплоть до 1917 г.

В 1917 году в доме проживали: Екатерина Герасимовна Березина, Павел Савич Коршунов, Павел Петрович Коченев, дочь генерал-майора Александра Петровна Лацкая, живописный мастер Алексей Степанович Молоканов, Анастасия Дмитриевна Николаева, Дмитрий Дмитриевич Орлов, Василий Михайлович Романычев, Павел Васильевич Смирнов, домовладелец П. П. Шевелев, вдова А. Г. Шевелева Евдокия Васильевна и вдова А. А. Шевелева Надежда Ивановна, переписчица на машинке Надежда Сергеевна Агамжанова (жила до 1934 г.), служащий Петр Сергеевич Артемьев, врач Григорий Романович Британишский с женой Софьей Борисовной и сыном Романом, редактор и заведующий главной колонкой журнала «Жизнь и суд» Борис Владимирович Залшупин, бухгалтер Александр Ионович Ильевский, Илья Григорьевич и Матильда Леонтьевна Минскер, Таисия Сергеевна Морозова, поверенный различных фирм Эдуард Петрович Озоль, вдова действительного статского советника Клара Федоровна Поджио, Анна Людвиговна Яковлева.
Павел Иванович Варгасов содержал магазин канцелярских принадлежностей, М. Л. Минскер — модный магазин.

В советский период, в 1920-е гг. на участке дома по Загородному проспекту, 3 и Щербакову переулку, 17 проведения капитальных строительных работ не выявлено. Архитектурное решение фасадов и их декоративная отделка оставались без изменений. В первом этаже лицевого дома размещались магазины.

В 1930-1940-е гг. в связи с приспособлением под коммунальные квартиры и торговые помещения в доме проводилась частичная перепланировка в границах капитальных стен с сохранением без изменения всех лестничных клеток.

В 1930 — 1940-х гг. здесь жили: технический руководитель паркетной фабрики Акционерного общества «Продукт» Иван Владимирович Аннарауд, врач Адолий Яковлевич Виницкий, преподаватель Адольф Матвеевич Вульф, инженер Борис Борисович Гутман, Галина Бруновна Запатрович, Александр Владимирович Иванов (1906 — 1942; краснофлотец, токарь артиллерийских мастерских Краснознаменного Балтийского флота; умер от истощения и энтерколита 2 февраля 1942 г., похоронен в поселке Сясьстрой), начальник цеха фабрики «Скороход» Артур Андреевич Лутс, бухгалтер Соломон Яковлевич Малков, Михаил Исаакович Рохлин, зубной врач Лия Осиповна Рубинштейн, служащий артели «Лендревпромсоюз» Исаак Семенович Хейфец.
Дом связан и с именами ученых: здесь проживал Р. Г. Британишский, А.М. Вульф.

В 1980-е гг. при строительстве наклонного выхода из подземной станции метро «Достоевская» была разобрана значительная часть лицевого корпуса по Щербакову переулку. Позже разобраны и все дворовые флигели.

В 2001 г. дом был взят под государственную охрану в категории выявленного объекта культурного наследия, представляющего историческую, научную, художественную или иную культурную ценность.

С 2003 г. здание не эксплуатировалось.

В 2010 г. при попытке незаконного сноса разрушена верхняя часть дворовой стены и большая часть кровли.