Sie bestand aus drei großen und zwei kleinen Stadttoren und einigen Rundtürmen. Heute existieren nur noch die Überreste der Stadtmauer im Weierhohl mit dem Hexen- und dem Engelsturm. Der Hexenturm aus dem 14. Jahrhundert ist das älteste erhaltene profane Gebäude der Stadt. Der Name könnte auf die Hexenverfolgung hinweisen, bei der er als Gefängnis gedient haben könnte. Allerdings gibt es dafür keine Beweise. Der Olper Heimatforscher Dr. Manfred Schöne ging davon aus, dass sich der Name von "Hessenturm" herleitet.
Außerdem befindet sich unterhalb der Stadtmauer seit 1963 die von Ewald Mataré entworfene Gedenkstätte zum Andenken an die Opfer des Krieges und als Mahnmal für die Lebenden sowie seit 1996 das Brackendenkmal.