Архитектурная доминанта Университетской горки.

Деревянная Успенская церковь недалеко от места, где построили собора построена в 1657 году, лес для неё свозили казаки. Поначалу в храме не было даже деревянных икон, вместо них использовали бумажные. К 1680-м годам церковь обветшала, и рядом с ней в 1685 году заложили каменный собор. Храм освящён в 1688 году. На месте старой деревянной церкви некоторое время стояла часовня.

В 1733 году собор сильно пострадал от пожара, но уже через год был восстановлен. При этом сгоревшую деревянную крышу заменили жестяной.

В 1770 году в стенах собора обнаружили опасные трещины. Храм стали разбирать и строить на его месте новый по образцу Климентовского храма на Пятницкой улице в Москве (метро "Третьяковская").

С 1820 по 1833 год к собору была пристроена колокольня (со стороны Университетской улицы). Она выше колокольни Иван Великий в Московском кремле. По легенде, городской голова был возмущён этим и сказал архитектору переделать проект, но тот пошёл на хитрость: на следующем собрании говорил только о высоте каждого этажа и ни слова — об общей, но на словах заверил, что теперь колокольня будет ниже. До XXI века колокольня оставалась самой высокой постройкой в Харькове.

В 1924 году на колокольне установили радиопередающую антенну, а сам собор закрыли, чтобы колокола не мешали работать расположенной рядом радиостудии (проработала до 1941 года). После войны в соборе разместили швейный и красильный цеха. С 1986 года в храме, после его реставрации, размещается органный зал. В 2009 году собор передан православной церкви (ранее службы совершались, но нерегулярно). До 2010 года концерты и церковные службы будут идти по согласованному графику, затем органный зал должен переехать в новое помещение, которое для него строят при филармонии на улице Рымарской, 21.