Rivayete göre caminin yapılışı ilginç bir hikâyeye dayanıyor. Hikâye şöyle: Ahmet bin Tolun, çölde giderken yanındaki çalışanlardan birinin atının ayağının takılması sonucu düştüğünü görür. Durarak atın ayağının takıldığı yere bakan Tolunoğu, orada bol miktarda altın olduğunu fark eder ve bunları çıkarttırır. Söz konusu altınları hayırlı bir işte kullanmak için Bağdat’ta bulunan zamanın halifesi Ebul Abbas el-Mutemed`e bir mektup gönderen Tolunoğlu, Halife`nin onayının ardından bu parayla bir şifahane (Beymaristan) inşa etmeye karar verir. Şifahaneyi inşa ederken daha büyük bir define bulunmasının ardından buraya külliye yapılmasına karar verilir. Külliyeyi bu define ile yaptıran Tolunoğulları devletinin kurucusu Ahmet bin Tolun, inşaattan arta kalan parayı ise vakfeder.