Oft gemalt, liegt die mittelalterliche Altstadt mit engen Gassen und Winkeln auf einem Bergsporn, der ursprünglich an drei Seiten von Neckar und Enz umschlossen war. Nach Verlegung des Neckars entstanden auf dem Kies, zwischen Altstadt und Neckarkanal, ein Industriegebiet und das Bildungs- und Sportzentrum. Von der Enzbrücke aus bietet sich die langgezogene Silhouette der Stadt besonders eindrucksvoll als eine unregelmäßige, aber harmonische Abfolge von Giebeln, Wänden und Dächern dar, aus denen der spätgotische Bau des Rathauses und der Obere und Untere Turm herausragen. Der gesamte Stadtkern steht unter Denkmalschutz.
Spuren von Ansiedlungen gibt es schon von den Bandkeramikern der Jungsteinzeit, von den Kelten und natürlich von den Römern, die schließlich von den Alemannen vertrieben wurden. Die Stadt entstand aus einem Fronhof, der dem elsässischen Kloster Erstein gehörte und 1153 dem damaligen Hermann von Baden „vergabt“ wurde. Die in der Stauferzeit stark befestigte Stadt erlebte zahlreiche kriegerische Auseinandersetzungen, durchlitt Plünderungen, den Bauernkrieg und die Pest.
1520 fiel die Stadt an Habsburg, wie das gesamte Württemberg. Im Bauernkrieg wurde Besigheim 1525 von den aufständischen Bauern besetzt, ging 1529 wieder an Baden und 1595 durch Kauf endgültig an Württemberg.
Nachdem die Stadt 1595 württembergisch wurde, trafen sie der Dreißigjährige Krieg mit starker Verminderung der Bevölkerung, und später drei Franzoseneinfälle, die u.a. zur Zerstörung des Unteren Schlosses führten. Großen Aufschwung erfuhr die Stadt mit Beginn der Industrialisierung Mitte des 19. Jahrhunderts und vor allem mit dem Bahnanschluss 1848. Sie entwickelte sich zum Industrie- und Freizeitmittelpunkt und knüpfte Verbindungen mit dem europäischen Ausland.
Zu Beginn des 17. Jahrhunderts kam es in Besigheim zu mehreren Pest-Epidemien, denen von 1606 bis 1633 rund 500 Einwohner zum Opfer fielen. Nach Beginn des Dreißigjährigen Krieges wurden 1621 Schanzen aufgeworfen, jedoch kam es vorerst zu keinen bedeutenden Kampfhandlungen, sondern lediglich zu Einquartierungen und Durchzügen. Erst 1634 brach der Krieg über die Stadt herein, die bis 1648 mehrmals besetzt und geplündert wurde. Die Pest forderte außerdem in den Jahren 1634 bis 1648 weitere rund 1700 Opfer. Mehrere zum Amt Besigheim zählende Dörfer waren völlig entvölkert.
Bis 1938 war die Stadt Verwaltungssitz des Oberamtes Besigheim, das dann im Landkreis Ludwigsburg aufging.
Besigheim bietet eines der am besten erhaltenen mittelalterlichen Stadtbilder in Süddeutschland. Die hohen Stadtmauern wurden 1805 zwar auf die halbe Höhe abgetragen, es wurden Tortürme entfernt und Durchbrüche angelegt. Dennoch sind sie in ihrer Struktur fast komplett erhalten. Von der 1693 zerstörten und 1750 abgerissenen unteren Burg ist der mächtige Waldhornturm erhalten.
Den Gegenpol zu dieser Anlage bildet die obere Burg. Ihr Hauptturm, der 1220 errichtete Schochenturm, ist mit 36m noch etwas höher als der Waldhornturm. Oben befindet sich eine Turmwärterwohnung. Nach einem der Wärter, Schoch, wurde der Turm benannt. Das daneben stehende Steinhaus mit seinem imposanten, abweisend wirkenden Giebel ist über den Bogen des Stadttors mit dem Turm verbunden. Es ist das ehemalige Wohnhaus der Burg.