В XVIII веке были деревянными. Название воротам дали лежащие вокруг пастбища, Росгартен переводится как «конный сад». Сохранившееся до наших дней здание ворот было построено в 1852-1855 годах. Близлежащую от ворот территорию контролировали две башни, расположенные рядом, - «Дона» и «Врангель».
Ворота состоят из семи проемов. Центральный проездный проем шириной 4 м, по бокам от проезда расположено по три каземата, с городской стороны казематы имеют окна, с внешней стороны - амбразуры.
Сверху над фасадом ворот расположен ряд зубцов, разделённый на две половины возвышенной центральной частью. По бокам центральная часть обрамлена двумя высокими восьмигранными башенками. Между башенками расположена высокая арка, предваряющая въезд в ворота. Над аркой - наблюдательная площадка, ограждённая зубцами, справа и слева от арки проходят аркады, состоящие из арок, опирающихся на колонны. По бокам от главной арки расположены два медальона-портрета, изображающие генералов Шарнхорста и Гнейзенау.
С внешней стороны Росгартенские ворота не имеют декоративных украшений, проезд прикрыт блокгаузом и кордегардией, имевшей распашные ворота. Перед кордегардией располагался ров, через который был перекинут подъёмный мост.
В соответствии с Постановлением Совета Министров РСФСР от 30 августа 1960 года № 1327 Росгартенские ворота подлежат государственной охране, ныне являются объектом культурного наследия Калининградской области федерального значения.
С 1992 года в блокгаузе ворот размещается ресторан "Солнечный камень".