История Эрмитажа неразрывно связана с именем Екатерины Великой. Именно Императрице принадлежала идея возведения в непосредственной близости от Зимнего Дворца целого ряда зданий, в которых надлежало разместить обширные коллекции предметов искусства со всего света.
Так, желание самодержицы обзавестись уютным уединенным уголком в самой непосредственной близости от официальной парадной резиденции и послужило созданием Эрмитажа. Название, заимствованное из французского языка, обозначающее «приют отшельника», как нельзя лучше отражало суть нового комплекса зданий, в которых Екатерина II могла скрыться от дел государственной важности и провести время в увлекательной беседе или насладится обществом своих истинных друзей.
С 1764 года Екатерина Великая неуклонно в течение трех десятилетий просвещала время и силы своему Эрмитажу, создавая достойное дополнение парадной императорской резиденции в самом сердце северной столицы. Оставив Зимнему Дворцу осуществление представительских функций и ведение дел государственной важности, Императрица настойчиво заполняла сокровищницу своего Эрмитажа предметами искусства: коллекциями живописи и скульптуры, резными камнями, медалями и монетами, а также богатейшей библиотекой, снискавшей в ряду других достижение Екатерины II, неувядаемую славу периоду ее правления.
Первым в ряду Эрмитажных зданий, которые решила возвести Семирамида Севера стали Висячие сады, которые по проекту Жана-Батиста Валлен-Деламота возвел в 1764 – 69 годах Юрий Матвеевич Фельтен. На высокой террасе расположился сад, обнесенный ажурной трельяжной решеткой. В объемных свинцовых контейнерах разместились садовые кустарники и цветочные клумбы. В летнее время на террасу выставляли экзотические растения в кадках и беломраморную парковую скульптуру. В висячих садах Екатерины Великой нашлось место даже певчим птицам и мелким животным. Здесь под северным небом Императрица создала свой собственный «рай на земле».
В южной оконечности сада располагался, выстроенный по проекту Ю. М. Фельтена, павильон. Выполненные с царственной пышностью комнаты Южного Павильона занимал Граф Григорий Орлов, фаворит Императрицы. Позднее павильон стал своеобразной «резиденцией» всех последующих фаворитов Екатерины и приближенных к трону лиц, а в девятнадцатом веке в нем проживали придворные чины и даже члены императорской фамилии. Сегодня, в Южном Павильоне Эрмитажа располагается Научная Библиотека Эрмитажа.
Вслед за Южным, на противоположной стороне висячего сада по проекту Валле;н-Деламо;та в 1769 году был возведен Северный Павильон. Вскоре Императрицу посетила счастливая мысль соединить павильоны длинным узкими галереями, в которых она и стала размещать экспонаты своих первых Эрмитажных коллекций.
Таким и предстал к 1775 году Малый Эрмитаж. Современники объясняли название стремлением Императрицы Екатерины Великой к уединению и увеселениям в узком кругу особо приближенных лиц.