Funde aus der Bronze- und Römerzeit deuten auf eine frühe Besiedelung hin. Einmalig ist der antike Steinbruch "Spitzelofen" am oberen Steinberg in 900 Meter Seehöhe. Es handelt sich hierbei um einen Marmorsteinbruch, der wahrscheinlich bis zum 4. Jahrhundert in römischem Besitz gewesen ist. Wie lange der Steinbruch tatsächlich in Betrieb war, kann man heute nicht genau sagen.
Der Marmor, der dort abgebaut wurde, ist von großer Reinheit und Qualität. Es handelt sich um einen weiß und grau gebänderten Silikatmarmor, der sehr grobkörnig, und mit Graphit, Pyrit und farblosem Glimmer etwas verunreinigt ist. In der Antike wurde im Allgemeinen das im Steinbruch gewonnene Material vor Ort verarbeitet. Es war rentabler, Halbfertigprodukte zu liefern, und den unnötigen Ballast vorher zu entfernen. Die Steinbruchwände zeigen parallel verlaufende Abbaurillen, die durch die Verwendung des Spitzschlägels entstanden sind.
Der Abtransport wurde für leichtere Stücke, die bis zu 10 Tonnen Gewicht hatten, mit dem Wagen, ansonsten auf Schleifen durchgeführt. Zu all diesen schweren Arbeiten wurden Sklaven herangezogen, obwohl es auch freie Facharbeiter gab.
In ca. 8 Meter Höhe befindet sich das eigentliche "Spitzelofendenkmal". Es ist eine in die Felsenwand gemeißelte Einschrift mit dem Wortlaut:
S(Silvano) SAXANO AVG(Augusto) SAC(Sacrum) ADIVTOR (Adiutor) ET SECVNDINVS (Secundinus)
übersetzt: "Adiutor und Secundinus haben dem erhabenen Gott der Wälder und der Steinbrüche dieses Heiligtum errichtet".
Wo sich dieses Heiligtum befindet, ist nicht ganz klar. Naturgemäß gibt es darüber verschiedene Deutungen. Während man einerseits annimmt, dass es in einer Brandschicht zu suchen wäre und eine hölzerne Kapelle gewesen sei, wird auch die Meinung vertreten, das Felsrund selbst wäre das Heiligtum.
Der Gott des Waldes und der Steinbrüche kommt in Inschriften in Kärnten sonst nur noch zwei Mal vor. Im Volkssagenkreis wird dieser Steinbruch mit einem Schatz in Verbindung gebracht. Aus diesem Grund dürfte wahrscheinlich auch Ende des 19. Jahrhunderts ein gewisser Anton Deutschmann versucht haben, diesen Schatz zu finden. Deutschmann sprengte ein tiefes Loch in die Felswand. Es gab damals zwar noch keinen Denkmalschutz, aber die k.k. Berghauptmannschaft schaltete sich in diesen Fall ein, und rettete so diesen einzigarten Steinbruch. (Fuch 1985)

Die Burg Stein liegt östlich von St. Georgen in 717 Meter Seehöhe auf einem 50 Meter hohen Gneis-Kegel. Gebaut wurde die Burg vermutlich von Friedrich von Stein. Die Burg wurde erstmals 1214 urkundlich genannt, als sie zum Erzstift Salzburg gehörte. Die Salzburger überließen die Burg 1276 den Bischöfen von Lavant, die sie als Sommerresidenz benutzten. (Dreschler 1954)
Die Burg hatte mehrfache Angriffe zu überstehen. 1289 wurde die Burg im Auftrag von Herzog Albrecht durch den Söldnerführer Ulrich Kapeller gestürmt. Von 1480 bis 1494 war das Lavanttal Kriegsschauplatz zwischen den kaiserlichen und ungarischen Truppen. Das Lavanttal wurde in diese Wirren hineingezogen, weil der Bischof von Lavant mit dem ungarischen König sympathisierte und den ungarischen Truppen in den Schlössern von Lavant Unterschlupf gewährte. Unter anderem wurde auch die Burg Stein 1480 durch Leonhard II von Kollnitz, kaiserlicher Hauptmann, auf Befehl von Friedrich II von den kaiserlichen Truppen belagert und verwüstet. (Drechsler 1954)
1493 wurde die Burg durch Leonhard von Keutschach neuerlich befestigt. Der Verfall dürfte zu Beginn des 18. Jahrhunderts eingesetzt haben, als die Bischöfe in bequemere Residenzen übersiedelten. Interessant sind die drei verschiedenen Bauepochen, die an der Burg zu erkennen sind. Der Grund ist frühromanisch. Sie wurde jedoch in der Romanik und später im 16. Jahrhundert im Barockstiel umgebaut. Erreichbar ist die Ruine über eine hölzerne Zugbrücke, die über einem künstlich geschaffenen Graben liegt. Auf der Felshöhe sind die romanischen Mauern des Palas mit einem gekoppelten Fenster erhalten. Rechts liegt die restaurierte Kapelle mit einem Tonnengewölbe und einer halbkreisförmigen Apsis. Links ist ein langgestreckter Bau mit einem gotisch gewölbten Keller mit drei Mittelpfeilern. (Dehide Kärnten)
In diesem Saal hielten sich die Leute während einer Belagerung auf. Die Burg hatte ein Fassungsvermögen von etwa 30 Söldnern. Welchen gesellschaftlichen Wert die Burg früher hatte, zeigt auch, dass noch vor rund hundert Jahren am oberen Steinberg um ca. 100 Menschen mehr angesiedelt waren als im Ort selbst. Als die Burg jedoch ihre Schutzfunktion verlor, haben sich die Menschen mehr im Tal angesiedelt.

Da die Herren von Stein offenbar öfters in Machtkämpfe und Fehden verwickelt waren, standen die Bauern gegen Brandschatzung und Plünderung schutzlos da. Aus diesem Grund schuf man neben der Sankt Magdalena Kapelle eine Wehrkirche, die in der größten Not letzter Zufluchtsort war.
Dir Kirche wurde dem Heiligen Georg geweiht und wird erstmals 1246 in einer Urkunde erwähnt. 1485 wurde die Pfarre mit päpstlicher Erlaubnis dem Stift St. Paul voll eingegliedert. Das geschah vor allem, um die Einkünfte des Stiftes, die in der Türkennot stark zurückgegangen waren, aufzubessern. Die Pfarrkirche mit dem altem Friedhof, der jetzige Kirchhof, ist von einer Mauer umgeben. Das und der mächtige romanische Ostturm mit Zwillingsfenstern im Glockengeschoß und Spitzhelm deuten auf eine romanische Anlage hin.
Auf der Nordseite ist die tonnengewölbte Sakristei angebaut. Vor dem barocken Westportal aus dem 17. Jahrhundert befindet sich ein kleiner geschlossener Vorbau. Das Langhaus wurde in der Barockzeit verlängert. Ein halbkreisförmiger Triumphbogen führt zum kreuzrippengewölbten Chorraum. Die Rippen ruhen auf kurzen Säulen und Konsolen mit Menschen- und Tierfiguren. Der Hochalter mit Opfergangsportalen stammt aus der Zeit um 1720/30, ebenso alt sind die barocken Statuen der heiligen Petrus, Benedikt, Scholastika und Paulus. In der Mitte des Altares befand sich früher eine Georgfigur, aus der Mitte des 18. Jahrhunderts. Diese wurde jedoch vom Thronfolger Erzherzog Franz Ferdinand übernommen und durch ein Ölbild des Heiligen Georg aus dem 19. Jahrhundert ersetzt.
Der Aufsatz des Hochaltars enthält ein Bild der Heiligen Dreifaltigkeit, umrahmt von vier Barockengeln. Die beiden Seitenaltäre stammen aus der selben Zeit wie der Hochalter. Der linke hat in der Mitte eine Immaculata-Statue des 19. Jahrhunderts. Das flachgedeckte Langhaus hat zwei Glasfenster aus dem Jahre 1913. Unter der hölzernen Orgelempore sieht man zwei naive Votivbilder, so genannter Bauernkunst, mit einem Schutzengel und dem Heiligen Georg. (Dehido Kärnten)