Erzincan M.Ö. 2600 Yıllarında Akadlar, ardından M.Ö. 2000 yılından sonra çeşitli site krallıkları hâkimiyetinde Hitit'lerin kontrolünde uzun bir dönem geçirmiştir. Ardından Urartu Medeniyeti altında bir dönem geçiren Erzincan'ın 15 Km. doğusunda nadir ve kıymetli Urartu kalıntılarının en önemlilerinden, Altıntepe Kalıntıları bulunmaktadır. M.Ö. 650 de İskitlerin hakimiyetine geçen şehir kısa bir süre sonra Medler tarafından istila edilmiş ve yine kısa bir süre sonra Pers hakimiyetine girmiştir. 200 Yıldan fazla Pers İmparatorluğunun hakimiyetinde kalan şehir İskender'in Persleri yenmesi ile Helenler tarafından yönetilmiştir.

Roma Pontus mücadelelerinin tam ortasında kalan şehirde Roma Hakimiyetinde zor günler geçiren bölge halkı, bazı kaynaklara göre 22 bazı kaynaklara göre 25 dil konuşan, entelektüel, ticareti iyi bilen insanlardan oluşmaktaydı. Bölge insanı Roma Medeniyeti karşısında Pontus'luları tercih etmiş ve bu sebeple Romalıların ağır baskı ve zulümlerine maruz kalmışlardı. Romanın tam hakimiyeti M.Ö. 60 larda sağlanabildi ve şehir 450 yıl süren Roma hakimiyeti yaşadı.

M.S. 395 de Sasaniler bölgeye hakim oldu. 540 yılına kadar süren Sasani hakimiyeti, bu tarihte İslam Ordularının bölgeye girmesi ile sona erdi. Ardından Emevileri hakimiyetinde bir dönem geçiren şehir, Roma - Emevi çatışmalarının da ortasında kalmıştır.

1071 de Türklerin Anadolu'ya girişi ile bölgede başlayan Türkleşme hareketinden sonra Mengüceklilerin hakimiyetine giren şehir kesintisiz olarak 900 yılı aşkın süredir Türklerin hüküm sürdüğü bir bölge olmuştur. Selçukluların hakimiyetini kabul eden Mengücekliler kontrolündeki şehir, Dönemin Selçuklu Hükümdarı ile Mengücek Beyi arasındaki anlaşmazlık sebebi ile merkezi bu günkü il sınırlarımız içerisinde kalan Mengücek Beyliğinin ortadan kaldırılması akabinde doğrudan Selçuklulara bağlanmıştır.

Selçuklu hakimiyeti çok kısa sürdü ve 1247 de şehir Moğol istilasına uğradı. Saltuk ve İlhanlılar tarafından da kısa süreler ile yönetilen şehir beylikler döneminde Eratnalıların başkenti oldu. Sırası ile Karakoyunlular ve Akkoyunlular hakimiyetinde 100 yıl yaşayan şehir 1502 de Safevilerin kontrolüne geçti.

Bu tarihlerde Şah İsmail ve Yavuz arasındaki çatışmalara sahne olmuştur. Çaldıranda Yavuz'a yenilen Şah İsmailin hakimiyeti ardından bölge Osmanlı hakimiyetine geçti.

1. Dünya savaşında kısa süre Rus ve Ermeni işgali gören şehir 13 Şubat 1918 de Vehip Paşa komutasındaki Türk birliklerince tekrar hürriyetini kazandı. Cumhuriyetin ilanı ile de Türkiye Cumhuriyetinin bir vilayeti oldu.