Kelmės krašto muziejus įsikūręs 1780m. statytuose baroko stiliaus dvaro rūmuose. Kelmės dvaro ansamblis labiausiai vertingas ir lankomas turistų kaip retai išlikęs barokinio stiliaus Lietuvos provincijos dvaras, atspindintis šalies dvarų architektūros, statybos, parkų bei ūkininkavimo raidos bruožus. Itin savitas šios sodybos statinys – mūriniai dviaukščio bokšto išvaizdos vartai (1668 m.). Tokių monumentalių stilingų dviaukščių vartų nepasitaikė kituose dvaruose. Čia neblogai išsilaikė didelė dalis viso dvaro ansamblio. Kelmės dvaro sodybos teritorijos plotas kartu su parku – 15,2 ha. Iki šių dienų yra išlikę devyni šios sodybos dvaro laikotarpio pastatai. Daugiau kaip tris šimtus metų Kelmės dvarą valdė lenkų kilmės bajorai Gruževskiai (Gruzewski).

XVIII a. pabaigoje šiame pastate buvo įrengta biblioteka, turėjusi keletą tūkstančių knygų.

1990 m. centrinių rūmų pastate įrengtas muziejus, kuriame veikia 10 ekspozicijos salių.