وقد حكى الأمير برسباى قرا الخازندار الظاهرى أنه لما أخذه من مخبأة القصر
الأبلق وتوجه به إلى البحرة ليحبس بها فاجتاز به من طريق الحريم السلطانى، أنه عيى في الطريق وجلس ليستريح، ثم سأل الأمير برسباى المذكور: «إلى أين أروح «1» ؟» فقال له: «إلى البحرة يا مولانا السلطان معزوزا «2» مكرما» ، فقال: «والله ما أنا سلطان، أنا أمير، وما كنت أفعل بالسلطنة، وقد كبر سنى وذهل عقلى، وقل نظرى وسمعى؟! بالله سلم على السلطان وقل له إنى لست بسلطان، وسله أن يرسلنى إلى ثغر دمياط أو موضع آخر غير حبس، فأكون فيه إلى أن أموت وأنا مأمون العاقبة، لأنى ما عرفت أدبر المملكة وأنا مولى سلطانا، فكيف يقع منى ما يكرهه السلطان؟!» . ثم بكى أولى وثانية. قال برسباى: «فشرعت أزيد في تعظيمه، وأسليه، وأعده بكل خير» .
والمقصود من هذه الحكاية اعترافه بالعجز عن القيام بأمور المملكة. وبالجملة كانت سلطنته غلطة من غلطات الدهر.
ودام الملك الظاهر يلباى بالبحرة إلى ليلة الثلاثاء عاشر جمادى الأولى من سنة اثنتين وسبعين وثمانمائة، فحمل إلى سجن الإسكندرية في بحر النيل، ومسفره الأمير قانصوه اليحياوى الظاهرى المستقر في نيابة الإسكندرية بعد عزل كسباى المؤيدى، وتوجه إلى دمياط بطالا، فحبس الملك الظاهر يلباى ببعض أبراج الإسكندرية إلى أن توفى بحبسه من البرج بإسكندرية في ليلة الاثنين مستهل شهر ربيع الأول من سنة ثلاث وسبعين وثمانمائة، وقد جاوز السبعين من العمر.
وكان ملكا ضخما، سليم الباطن مع قلة معرفته بأمور المملكة، بل بغالب الأمور، أميا لا يحسن الكتابة ولا القراءة ولا الكلام العرفى إلا بمشقة، وكان في
ابتداء أمره يعرف بيلباى تلى أى مجنون، وكان عديم التجمل في ملبسه ومركبه ومماليكه وسماطه، مشهورا بالبخل والشح، نالته السعادة في ابتداء أمره إلى يوم تسلطن، تنقل في أوائل أمره من منزلة سنية إلى منزلة أخرى إلى يوم تسلطن، فلما تسلطن كان ذلك نهاية سعده، وأخذ أمره من يوم جلس على تخت الملك فى إدبار، واعتراه الصمت والسكات، وعجز عن تنفيذ الأمور، وظهر عليه ذلك؛ بحيث إنه علمه منه كل أحد، وصارت أمور المملكة جميعها معذوقة «1» بالأمير خيربك الدوادار، وصار هو في السلطنة حسا والمعنى خيربك، وكل أمر لا يبته خيربك المذكور فهو موقوف لا يقضى، وعلم منه ذلك كل أحد، ولهجت العوام عنه بقولهم «أيش كنت أنا؟ قل له» ، يعنون بذلك أنه إذا قدمت له مظلمة أو قصة بأمر من الأمور يقول لهم: «قولوا لخيربك» وأشياء من هذا النمط يطول شرحها، ذكرنا غالبها في تاريخنا «الحوادث» مفصلة، كل واقعة في وقتها.
وبالجملة إنه كان رجلا ساكنا غير أهل للسلطنة- رحمه الله تعالى، وعفا عنه.