Harun Reşid zamanında şöhret kazanmış tasavvuf ehli zatlardan biri olan Şeyh Ma`ruf el kerhi 816 yılında ölünce, bugünkü türbesinin bulunduğu yere gömülmüştür. Daha IX. yy.da çok sayıda ziyaretçisi olan türbenin ne zaman yapıldığı kesin olarak bilinmiyorsa da, 1066`da tamir edildiği kayıtlıdır. 1214`te Halife Nasır Lidinillah tarafından cami ile birlikte yenilenmiştir. 1675`te Vezir Abdurrahman Paşa,; 1690`da Ömer Paşa; 1892`de Vali Hasan Paşa ve 1894`te Sultan II. Abdülhamid tarafından tamir ettirilmiştir. 1967 yılında Irak Vakıflar Bakanlığınca yeniden elden geçirilmiştir.
Bugün mezarlığın ortasında kalmış olan külliyeye, 533 m. uzunluğunda koridor şeklinde bir yolla ulaşılmaktadır. Ayrıca, külliyenin 27,5 m. uzunluğunda ve 4,5 m. genişliğinde etrafı surlarla çevrili bir yolu daha mevcuttur. Bundan sonra gelen dikdörtgen mekanlı ve 2 katlı birinci bölümde, altta abdestlik ve yüksek sekili sandukalar; üst katta türbedar, şeyh ve müridlere has tekke hücreleri sıralanmıştır. Bu bölümün uzantısı olan türbe-cami kompleksinin etrafı kalın duvarlarla çevrilmiştir. Kuzeybatıdaki zaviye ile han ve misafirhaneler 1954 yılında yıkılarak yerleri mezarlık haline getirilmiştir.
