Aus der antiken Geschichte der Stadt ist kaum etwas bekannt. Die Burg von Afyonkarahisar (türkisch: Afyonkarahisar Kalesi) ist eine um 1350 vor Chr. von den Hethitern auf einem 226 m hohen Felsmassiv erbaute Befestigungsanlage.

Die Festung ist vermutlich mit dem hethitischen Hapanuwa identisch, das zu den Arzawa-Ländern gehörte und im 14. Jhd. v. Chr. von Muršili II. besetzt wurde. Eine Besiedlung in phrygischer Zeit ist ebenfalls belegt.

Der Name der um den Burgberg entstandenen Stadt lautete unter seldschukischer Herrschaft Karahisar-ı Sahib, die „Schwarze Burg von Sahib“. Dies geht auf den Seldschuken-Wesir Sahip Ata zurück, der die Burg reparieren ließ. Der Namensbestandteil Afyon stammt aus der Zeit nach der Republikgründung und ist das türkische Wort für Opium.
Während des Nationalen Befreiungskrieges gelang der türkischen Armee unter Mustafa Kemal Paşa in der Schlacht am Hügel Kocatepe bei Afyon vom 26. August bis zum 30. August 1922 ein entscheidender Schlag gegen die griechischen Truppen. Dadurch wurde der schnelle Vorstoß zur Küste und der endgültige Sieg möglich.

Die Stadt hieß in römischer und byzantinischer Zeit Akroinos oder Akroinon. Unter dem Namen Akroinos gehörten Stadt und Festung zu Pergamon, später zum Römischen Reich und ab 395 n. Chr. zu Byzanz.
740 verteidigte der byzantinische Kaiser Leo III. die Stadt in der Schlacht bei Akroinon erfolgreich gegen die Araber. Die Seldschuken, die die Stadt im 12. Jhd. eroberten, bauten die Festung erheblich aus, ab 1428 gehörte sie zum Osmanischen Reich. Seit 1382 war Afyon Teil des osmanischen Reiches. Im Osmanischen Reich war Afyonkarahisar Hauptstadt eines Sandschaks, einer Verwaltungseinheit.

Das bei Afyonkarahisar liegende Phrygische Tal erstreckt sich von Döğer (bei İhsaniye) über Alanyurt bis nach Seydiler. Auf der ganzen Strecke sind Tuffsteinkamine, ähnlich wie in Kappadokien zu erkennen. Man sieht in den Fels gehauene Siedlungen, die noch bis zur byzantinischen Zeit bewohnbar waren. Wohnungen, Klöster, Kirchen und kleine Burgen aus der Frühzeit des Christentums sowie Felsengräber und Straßen aus der phrygischen und hethitischen Zeit.