Die natürliche Lage des Frauenberges inmitten einer Flussschlinge der Sulm bot schon den Menschen der späten Steinzeit im 4. Jahrtausend v. Chr. ideale Bedingungen. Zusätzlich geschützt war man durch die steilen Hänge, die den obersten Bereich der Kuppe umgaben. Schon in der Zeit der Urnenfelderkultur (um 1000 v. Chr.) hatte man eine erste Befestigung hier errichtet. In der darauf folgenden Hallstattzeit (850–450 v. Chr.) lag der Hauptort der Region auf dem 9 km entfernten Burgstallkogel von Großklein – aber auch auf dem Frauenberg befand sich eine Siedlung. Diese erlangte ihre größte Bedeutung in der Keltenzeit (450 v. Chr. bis Zeitenwende), als der Ort als Fürstensitz zum Zentralort aufstieg.
Spaziert man vom Sattel zwischen Seggauberg und Frauenberg entlang eines Kreuzweges den Hügel hinauf, fallen einem die rechts und links steil aufragenden Wälle auf. Es sind die heute noch zum Teil erhaltenen Reste der keltischen Verteidigungsanlage, die den Berg an allen Seiten umgab. Nicht zuletzt diese Umwallung dürfte dafür gesorgt haben, dass der Berg vor allem im 2. und 1. Jahrhundert so bedeutend war. Nach einem kurzen Anstieg erreicht man nach 250 m den Platz vor der barocken Marienkirche, die dem Frauenberg ihren Namen gab. Hier bietet sich die Möglichkeit, nach rechts (Südwesten) zum Tempelmuseum weiter zu spazieren. Würde man an der Kirche vorbei wieder hinunter gehen, könnte man über den „Katzelsteig“, bei dem es sich wieder um den Rest einer keltischen Weges handelt zu dem 250m entfernt gelegenen Kultplatz auf den sog. Perl-/ Stadläckern spazieren. Hier wurde bei den archäologischen Grabungen ein ausgedehntes keltisches Heiligtum entdeckt, in dem wohl nicht nur unzählige Rinder geopfert wurden, sondern wo sich auch ein Versammlungsplatz befand, an dem Männer und Frauen zusammenkamen.
Das heutige Tempelmuseum befindet sich am Ort des römischen Tempelbezirkes. Um dorthin zu gelangen, geht man an der Kirche vorbei um dann links der Straße ins Areal dieses Kultplatzes zu kommen. Dieser Platz liegt inmitten der ehemaligen keltischen Siedlung und vermutlich war es auch der Ort, an der der Fürst seinen Sitz hatte. Die Gebäude bestanden in der Zeit vor den Römern aus Holz und Lehm, die Steinbauweise war noch nicht verbreitet, weshalb kaum Reste davon erhalten blieben. Mit der römischen Machtübernahme, die in der Zeit des Kaisers Augustus erfolgte, verlor der keltische Fürst seine Autonomie. Unter römischen Druck musste der alte Opferplatz aufgegeben werden. Stattdessen wurde an diesem Ort ein Heiligtum erbaut, das in den folgenden Jahrhunderten zum wichtigsten Kultplatz von Flavia Solva wurde. Das heutige Tempelmuseum befindet sich auf den Fundamenten des großen Tempels. Daneben befand am höchsten Ort dieses Areals der erste Kultbau, der noch einheimisch- keltischer Tradition entsprach.
Im Museum können Altäre, Skulpturen und unzählige Funde aus den Heiligtümern besichtigt werden. Am bedeutendsten darunter sind die vielen Statuetten einer Muttergöttin, die beim Stillen eines Wickelkindes dargestellt wurde. Sie war wohl die große hier verehrte Göttin, die bereits in vorrömischer Zeit wichtig war, und die auch in der ganzen römischen Kaiserzeit hindurch angerufen wurde. Aber auch der Gott Merkur, Mars Latobius oder die Pferdegöttin Epona wurden verehrt. Möglicherweise fand auch eine kultische Verehrung des römischen Kaisers statt, eine Tradition, die der damaligen Welt wohl keineswegs so fremdartig erschien. Einen Besuch des Frauenberges kann man mit einer Besichtigung der barocken Kirche abschließen, die aufgrund ihrer Fresken auch kunsthistorisch bekannt ist. Die Wallfahrtskirche bezeugt bis heute die alte Tradition des heiligen Berges, der – wie die vielen archäologischen Funde zeigen – seit Jahrtausenden für das Umland von Bedeutung war.
