Razvaline gradu Rifnik stojijo na skalnem pomolu istoimenskega hriba. Grad se prvič omenja leta 1326. Takrat je dobil Viljem Vrbovški stolp pri Rifniku. Nadaljnja lastnika sta bila brata Ivan in Martin Mertl - Rifniška. Leta 1359 je Martin Mertl - omenjen kot ministerial Celjskih grofov. Ti so imeli grad v lasti do leta 1456, ko je njihov rod izumrl.
Grad so nato dobili potomci Erazma Liechtenbergerja, grajskega upravitelja celjskih grofov. Kasnejši lastniki so bili v 16. stoletju sorodniki Saurani. V naslednjem stoletju je večji del gospoščine prešel na Blagovno.
Domnevno so grad razrušili uporni kmetje leta 1635, v 2. polovici 17. stoletja pa naj bi že bil razvalina. To je razvidno tudi iz Vischerjeve Topografije.
Grad je že v romanski dobi dobil svoj značilni tloris – potegnjen pravokotnik. Obsegal je trinadstropni pravokotni stolp na zahodni strani, za njim pa se je razprostiralo obzidano peterokotno dvorišče. To zasnovo so že v zgodnji gotski dobi dopolnili z novim stolpom peterokotnega tlorisa v vzhodnem delu dvorišča. Ta stolp je še danes ohranjen do višine treh nadstropij in ima gotska okna z obstenskimi sedeži ter okvire s prirezanimi robovi. V zahodni steni je okrnjen šilastoločen gotski portal s prirezanimi robovi. Sočasno je bil na mestu nekdanjega dvorišča pozidan palas. Grajsko zasnovo so povečali v 16. stoletju s peterokotnim oborom ter predgradjem. Razvaline gradu z ohranjenim prvotnim stolpom imajo poleg umetnostno-zgodovinske vrednosti tudi pomembno vedutno vrednost.
Kamniti most ljubezni
Južno od Šentjurja, nad sotesko Kozarice, sta vsak na svojem hribu stala grad Ploštanj in grad Rifnik, ki ju je povezoval kamniti most. Legenda pravi, da sta se pred davnimi časi zaljubila ploštanjska grofična in rifniški mladi vitez. Njuna očeta nista podpirala njune ljubezni in sta jima prepovedala sestajanje. Zato sta se zaljubljenca dobivala na skrivaj na kamnitem mostu. Ploštanjski grof je ugotovil, da ga hči ne uboga, zato je dal razrahljati kamne v mostu, in pričakoval, da se bo most zrušil, ko bo vitez hotel obiskati grofično. Vendar pa sta se zaljubljenca zopet sestala na mostu, ki se je zaradi razrahljanih kamnov zrušil in zaljubljenca sta padla v globel pod njim.
