Известно, что в 12 веке в городе уже был замок с квадратной башней на вершине базальтовой скалы высотой 65 м. В 1551 году его увеличили и укрепили. Появились средний и нижний замок с двумя оборонительными бастионами, стенами, входным коридором и артиллерийскими позициями. В то же время построили дополнительную стену с воротами и бастионами.

С замком связана легенда о Филеке и его собаке Фулесе, нашедших клад, на который замок и построили. Есть информация, что замком владел разбойник по имени Фулко, пока его не конфисковал король Бела IV в 1246 году. Затем хозяевами замка были Матиуш Чак, королева Элизабет и Франсис Бебек.

Замок был компонентом оборонительной линии против турецкой экспансии в 16 веке. Турки захватили замок в 1554 году и контролировали Филяково и окрестности в течение 39 лет. В 1593 году Николас Палффи и Христоф Тифенбах освободили от них замок и окрестности.

В 1615 году замок был разрушен пожаром.

В 1615 году император пожаловал замок Стефанусу Когари
I, а его сын Стефанус Когари II в 1667 году приказал восстановить разрушенные части замка.

В 1682 году замок захватил и разрушил с помощью турок Эмерих Тёкёли, правитель Трансильвании, объявивший себя королём Венгрии.

Стефанус Когари II после освобождения из плена Тёкёли в 1725 году приказал построить новый костёл и монастырь.

Последними владельцами замка были Кобурги.

Замок представляет собой руины, но сохранился в целом неплохо и выглядит впечатляюще и издалека. и вблизи.