Akdağmadeni, yerleşim yeri olarak XIX. Yüzyılın ortalarında ve idari yetkiye de haiz bir isimli kurşun işletmesi müdürlüğü olarak kurulmuş ve Madenciler nahiyesi diye adlandırılmıştır. İlçemiz tarihi 1815 yılına kadar ormanlık olduğu için bilinmemektedir. İşletmenin şimdiki belediye garajının bulunduğu yere kurulmasıyla; Gümüşhane, Trabzon, Arapgir ve Ahıska’dan gelen işçilerle nüfuz hayli artmış ve 1871 tarihinde ilçe hüviyeti kazanmıştır. 1923 yılında kasaba 1.250 hani iken Rum ve Ermenilerin 1924-1927 yılında Yunanistan’a mübadele suretiyle nakilleri üzerine nüfus miktarı oldukça azalmıştır. Aynı tarihte Yunanistan’dan Selanik’in Kayalar bölgesinden mübadele suretiyle gelen 266 hane Türk kasabaya yerleştirilmiş ise de, bunların bir kısmının başka taraflara göçleri üzerine nüfus eksilmesi uzun yıllar telafi edilememiştir. Yine bu tarihlerde köylerde de mübadele yapılmış, Romanya, Bulgaristan (1951) ve 1935 yılında Yugoslavya’dan gelen 790 hane menkul aile köylere yerleştirilmiştir. Hariçten gelen bu mübadil ve göçmenlerden 2/3’ü yurt içinden başka kazalara göç etmişlerdir. Gelen mübadillerin tütüncü olmaları nedeniyle tütün mıntıkasında yerleştirilmiştir. Bulunan akrabalarının yanlarına gitmek istemeleri tekrar göçmelerine sebep olmuştur.
Akdağmadeni’nin kuruluşu, itibariyle civar ilçelere nazaran uzun bir geçmişe sahiptir. Bağlı bulunduğu Yozgat ili uzun yıllar Bozok Sancağı adi ile anılan ve Kayseri’yi de içine alan sancağın merkezi kazanın şimdiki Çepni köyü olan Karahisar Beyramşah kazasına bağlı göstermektedir. İlçenin merkezi 1815 yılına kadar ormanlık olduğu bugünkü kasabaya bağlı civar Güneyli Mahallesi’nin kasaba içindeki havuzda (Şimdiki Pazaryeri) hayvanları korkarak sulamaya getirdikleri ve çamlığın sıklığından hayvanların zor girdiği söylenmektedir. 1860 yılında Karahisar Beyramşah kazasına bağlı bir nahiye vücuda gelmiş ve Akdağmadeni 1871 yılında da Karahisar Beyramşah kazası inşa edilerek Akdağmadeni nahiyesine kaza teşkilatı kurulmuş ve Yozgat’a bağlanmıştır.