Католический храм в готическом стиле, первоначально во имя Святой Троицы, был построен на улице Доминиканской в конце XV века или начале XVI века. Перестраивался после пожаров в 1748—1749 годах, при этом изменилась его ориентация. При перестройке были возведены две башни и сооружён портал на месте прежней готической апсиды.

В XVIII веке и в начале XIX века костёл принадлежал Главной виленской школе (Виленскому университету). Священником здесь в 1781—1804 годах был Мартин Почобут, известный астроном и ректор Главной виленской школы.

В 1821 году российские власти переделали костёл в православную Благовещенскую церковь. По её названию и улица Доминиканская, вместе с улицей Ивановской (Святоянской, ныне Швянто Йоно), по распоряжению генерал-губернатора М. Н. Муравьёва, была в 1864 году переименована в Благовещенскую и так называлась до 1915 года.

Здание, национализированное советскими властями после Второй мировой войны, на протяжении 1948—2004 годов несколько раз меняло своё назначение. Одно время в нём был спортивный зал общества «Спартак», поздне — «Жальгирис».

В 1968 году обвалилась часть фасада, выходящего на улицу. По проекту архитектора Дангуоле Чяпене на старых фундаментах в 1971 году была восстановлена трёхстенная готическая апсида. После реставрации здание было передано тресту реставрации памятников.

В 2004 году здание было возвращено католической церкви. На Пасху 2004 года храм Милосердия Божия был освящён архиепископом митрополитом вильнюсским, кардиналом Аудрисом Юозасом Бачкисом. В ноябре 2008 года на башни храма были подняты новые медные купола и на них установлены кресты.