798`de vefat eden İmam-ı Azam Ebu Hanife`nin öğrencisi ve Hanefi mezhebi imamı Şeyh Yakub bin İbrahim Ebu Yusuf`un mezarı üzerine yapılan türbe ile cami Osmanlı döneminde tamamlanmıştır. 16. yy.dan kalan bu cami 1903`te Sultan 2. Abdülhamid, 1975 yılında da Irak Vakıflarınca tamir ettirilerek büyük ölçüde yenilenmiştir.
Doğudan ve Musa Kazım Külliyesi`nin avlu revakından 2 kapıyla girilen İmam Ebu Yusuf Camii`nin etrafı, caddeye kadar uzanan yüksek bir duvarla çevrilmiştir. Yıldız tonozla örtülü ilk giriş kısmından son cemaat yerine, buradan da abdestlik ve helalara geçilmektedir. Kuzeydoğuda yer alan avlunun tuğladan yapılmış taçkapı niteliğinde bir cümle kapısı mevcuttur. Türbe, harimin doğusuna bitişik vaziyettedir.
