Abu Hanifa hidup pada zaman pemerintahan Al-Muawiyyah dan juga pada masa pemerintahan kerajaan Abbasiyyah tetapi beliau mendukung ide-ide Alawiyyin dan tidak setuju denga ide Umayyah. Beliau keluar dari puak-puak Umayyah tetapi beliau enggan karena oleh beberapa sebab yang tidak dapat dihindarkan.
Pada masa pemerintahan Umayyah salah seorang dari pembesar kerajaan Umayyah yaitu Yazid bin Umar bin Hubairah meminta Abu Hanifah agar mau menjadi hakim (kadli) di kota Kufah. Beliau menolak permintaan tersebut dengan alasan tidak setuju kepada tata cara Umayyah. Yasid minta denda pada Abu Hanifah dengan seratus sepuluh rotan, pada tiap-tiap hari dipukul sebanyak sepuluh rotan. Abu Hanifah dengan tegas tidak mau menerimah tindakannya tidak beberapa lama Yasid membebaskannya.
Menurut setengah dari ahli sejarah bahwa Yasid tidak menyuruh Abu Hanifah menjadi hakim tetapi untuk menjaga Baitul-Mal.Walaupun Abu Hanifah telah dibebaskan tetapi hidupnya tidak bebas dari pengawasan Umayyah. Beliau terus berpindah ke Mekah. Beliau tinggal di serambi Kabah. Beliau tinggal di Mekah kurang lebih selama enam tahun. Sewaktu di Mekah beliau belajar ilmu fiqih dan hadits dan beliau bertemu dengan beberapa orang muridnya.
Di masa pemerintahan Abbasiyyah yang pertama Khalifah Abu Jaafar Al-Mansur telah sadar dan tahu bahwa Abu Hanifah tidak sependapat dengan pemerintahannya. Beliau selalu mengawasi Abu Hanifah karena beliau hendak mengetahui maksud Abu Hanifah.
Abu Hanifah sangat tegas pendapatnya. Beliau dari satu masa ke masa tetap mempertahankan pendapatnya. Kadangkala beliau membuat komen-komen dengan cara tidak langsung dalam majlis pelajaran. Kadangkala beliau mengritik pemerintah. Semua tindak tanduk Abu Hanifah menusuk dada Al-Mansur. Al-Mansur mencari kesempatan untuk menahan Abu Hanifah. Beliau akhirnya menangkap Abu Hanifah pada waktu Abu Hanifah berada di Baghdad.
Abu Ja'far meminta Abu Hanifah menjadi kadli beliau menolak, Al-Mansur bersumpah supaya Abu Hanifah menerima, tetapi Abu Hanifah bersumpah tidak mau menerimahnya!
Pada waktu itu al-Rabi'i berada di situ, beliau berkata kepadaAbu Hanifah, "Tidakkah engkau pikir bahwa Amirul-Mu'minim bersumpah ?" Abu hanifah menjawab, katanya bahwa Amirul-Mu'minim hendaklah membayar kifarat sumpahnya dan tentu beliau lebih berkuasa dariku !"
Abu Hanifah tetap menolak, lalu Amirul-Mu'minin menahannya untuk beberapa hari. Tidak lama kemudian beliau memanggil Abu Hanifah menghadapnya, beliau sekali lagi, supaya beliau (Abu Hanifah) menjadi kadli. Abu Hanifah menjawab, "Aku tidak pantas menjadi kadli".
Al-Mansur berkata kepada Abu hanifah, "Engkau berkata bohong".
Abu Hanifah terus berkata, "Amirul-Mu'minin menghukumkan saya seorang yang tidak harus menjadi kadli, karena beliau telah menuduh saya berbohong. Jika aku seorang pendusta tentulah tidak pantas (karena pendusta itu tidak baik menjadi kadli) dan jika aku seorang yang benar sesungguhnya aku telah memberitahu Amirul-mu'minin bahwa aku tidak pantas atau sesuai menjadi kadli".
Demikian jawaban Abu Hanifah terhadap apa yang diucapkan oleh Al-Mansur sehingga beliau tidak dapat menjawab, beliau terus menahan Abu Hanifah. Sewaktu dalam tahanan beliau mengeluarkan Abu Hanifah beberapa kali serta membuat perjanjian-perjanjian, beliau (Abu Hanifah) berkata kepada Amirul-Mu'minin, 'Hai Mansur, takutlah kepada Allah, Jagan engkau melantik melainkan orang yang takut kepada Allah. Demi Allah jiwaku tidak tenteram di kala aku menerima dan bagaimana pula aku hendak menjadi tenteram ketika aku sedang marah ?"
Ada suatu pendapat yang mengatakan bahwa beliau meninggal dunia dalam penjara, dan ada pula pendapat yang mengatakan bahwa beliau menjadi kadli dalam masa dua hari atau tiga, kemudian beliau juga sakit, akhirnya meninggal dunia.
Abu hanifah berpendapat bahwa 'Al-Khilafah' tidak harus turun temurun dan tidak juga dengan wasiat. dan tidak pula dengan paksaan. Tetapi hendaklah dengan membuat perjanjian yang bebas, lantaran itu beliau berkata, "Al-Kalifah hendaklah disetujui oleh semua orang mukmin juga dengan melalui musyawarah".
