Die Stadt liegt auf einemFelssporn, unterhalb schlingt sich der Fluss in einem Umlauf um den Berg. Es ist ein besonders gut geschützter Platz, auf dem um 1170 bis 1200 dieGrafen von Pernegg eine befestigte Marktsiedlung anlegen ließen. Der Mauerring entstand aber erst im 13. Jahrhundert, als der Grafensitz von der Mündung eines Baches in die Thaya hinauf auf den Felsen verlegt wurde. Dort, wo die Straße nach Drosendorf führt – gewissermaßen die Achillesferse der Stadtbefestigung – wurde die Burg erbaut. Entlang der Promenade sind die Stadtmauer und die 14 Türme gut zu sehen oder deren Fundamente noch zu erkennen.

Große Geschichte – wenn nicht die Weichen einer geopolitischen Entscheidung – schrieben die Mauern im Jahre 1278. Stephan von Maissau als Lehensherr von Drosendorf und Adelsmarschall empfing das Heer König Ottokars Premysl in Drosendorf. Trotz zahlreicher Belagerungsmaschinen des böhmischen Heeres konnte die Stadt 16 Tage lang Widerstand leisten, die König Ottokar um den Erfolg seines groß angelegten Feldzuges gegen Rudolf von Habsburg brachten.
Er verlor Schlacht und Leben. Im Zuge der Auflösung der äußeren Befestigung wurden die Gräben zugeschüttet und Gärten angelegt. Die steilen Hänge, die kahl gehalten wurden, um dem Feind jede Deckung zu nehmen, begrünten sich im Lauf der Zeit.

Beim Promenadenrundweg um die Stadt sind die Mauer und deren Zinnen und Türme mit Obstwiesen und Gartenlauben, wildem Wein und Efeu zu einem romantischen Bild verwachsen.