Курско-Харьковско-Азовсая железная дорога прошла через город в 60-е годы XIX века. Первый вокзал, находящийся на том же месте, что и нынешний (бывшая Архиерейская левада), был построен в 1869 году. В 1896 — 1901 годах его модернизировали.

Основные здания вокзала были, как и сегодня вытянуты вдоль путей. Однако имелись и четыре ветки для поездов, для которых Харьков был конечной станцией. Таким образом, вокзал в плане образовывал букву "Г". В месте соединения её частей располагался большой зал с куполом. Это был один из самых больших вокзалов в стране — с семью крытыми платформами (на нынешнем — шесть).

Это здание было разрушено в Великую Отечественную войну. Основную часть нынешнего здания (в обрамлении двух башенок) возвели в 1952 году. В 1980-е годы к вокзалу пристроили ряд зданий слева (если стоять к нему лицом на привокзальной площади). Завершает ансамбль железнодорожных ворот города высотное здание гостиницы "Экспресс".

Напротив вокзала, правее выхода из главного здания (если стоять к нему спиной) на площади стоит массивное здание управления Южной железной дороги 1912 — 1914 годов в стиле неоклассицизма. До его постройки управление занимало 19 наёмных домов, что осложняло работу предприятия с оборотом в 62 млн рублей в день. Это было одно из самых крупных сооружений в дореволюционном Харькове полезной площадью свыше 30 тыс. квадратных метров. Сейчас в здании, кроме управления дороги, находятся транспортная прокуратура и линейное отделение транспортной милиции.

Слева от выхода из вокзала площадь обрамляет здание бывшего Главпочтамта, ныне отделения связи № 52, построенное в 1927 — 1929 году. На его месте планировали строить здание Госпрома, в итоге занявшее своё место на площади Свободы (тогда — Дзержинского). Здание почты, впрочем, не менее интересно поклонникам советской архитектуры тех лет как яркий образец конструктивизма.

По Красноармейской улице стоит семиэтажный комплекс зданий — "литерный" жилой дом работников Южной железной дороги. Часть дома напротив управления ЮЖД увенчана таким же, как на управлении, куполом, что придаёт зданиям ощущение единого ансамбля. Предположительно, именно этот дом упоминает в повести "У нас была Великая Эпоха" Эдуард Лимонов: по всем признакам, в нём после войны базировалась дивизия НКВД, где служил его отец, а на верхних этажах жили семьи военнослужащих, включая будущего писателя и его мать.

Свой нынешний облик — с фонтанами и скульптурной композицей земного шара площадь обрела к началу XXI века. Особенно красиво она смотрится в сумерках, когда включается подсветка фонтанов и иллюминация на обрамляющих её зданиях.