Tasavvuf yoluna girmek isteyince, Bursa`da bulunan Emir Sultan`ın huzuruna gitti. Emir Sultan, Abdullah`ın tasavvuf aşkıyla yandığını görünce, onu Ankara`ya gönderdi. Hacı Bayram-ı Veli`nin ve kısa süre de, Abdülkadir Geylani hazretlerinin beşinci kuşaktan torunu Seyyid Hüseyin Hamavi`nin yanında tasavvuf eğitimini tamamladı.
Hacı Bayram-ı Veli`ye hizmet ettiği on bir senede pek çok sınavdan geçirildi. Hacı Bayram-ı Veli, kızı Hayrünnisa`yı Eşrefoğlu Rumi`ye nikahlayıp damat olarak evlat edindi.
Rumi, 1484`te (H. 889) İznik`te vefat etti. Türbesi İznik`tedir. Eşrefzade-i Rumi diye de bilinir.
Müzekkin-i Nüfus adlı tasavvufi eseri ve şiirlerini bir araya getiren "Eşrefoğlu Rumi Divanı" ile ünlenmiştir. Bu konuda, Ahmet Özdemir`in Hacı Bayram Veli ve Eşrefoğlu Rumi adlı kitapları bulunmaktadır.