ولما حضر الحافظ ابن حجر استجوبته زوجته أنس فما اعترف ولا أنكر بل ورى بما يفهم منه الإنكار، ثم قامت فأخرجت الولد وأمه فأسقط في يده.
وعاتبته عتابا مرا، فاعتذر بميله للأولاد الذكور، ودعت عليه أن لا يرزق ولدا عالما، فتألم لذلك وخشي من دعائها، وقال لها: أحرقت قلبي أو شيئا من هذا القبيل، لأنها كانت مجابة الدعاء.
وبعد وفاة الحافظ ابن حجر أرسل لها علم الدين البلقيني على يد ولده أبي البقاء يطلب الزواج منها، وقيل: إنها لم تكن تأبى ذلك لكن عصم الله- كما قال السخاوي: ببركة شيخنا- فلم تتزوجه.
كما تزوج الحافظ ابن حجر أرملة الزين أبي بكر الأمشاطي بعد وفاته، وذلك عند مجاورة أم أولاده سنة 834 ه ورزق منها في رجب سنة 835 ابنة سماها آمنة، لم تعش طويلا حيث ماتت في شوال 836 ه، وبموتها طلقت أمها لأنه علق طلاقها عند سفره إلى آمد على موتها.
كما تزوج الحافظ ابن حجر من ليلى ابنة محمود بن طوغان الحلبية عند ما سافر مع
الأشرف سنة 836 ه. إلى آمد، وكان زواجه منها في حلب، واستمرت معه إلى أن سافر من حلب ففارقها دون أن يعلمها بالطلاق، لكن أسره إلى بعض خواصه، والتمس منه ألا يعلمها بذلك، وكان يريد أن يختبر ولاءها، ولأنها قد لا تطيق أن تترك حلب وتسافر معه إلى مصر، ثم راسل بعض أصدقائه الحلبيين في تجهيزها إن اختارت ويعلمها بأن الذي يحمله على الطلاق هو الرفق بها لئلا تختار الإقامة بحلب أو يحصل لها نصيبها فلا تتضرر، وجاء في الكتاب الذي قرأه السخاوي بخطه وصفه لها بأنها نعم المرأة عقلا وحسن خلق وخلق ويعدها بكل جميل وأنها إن قدمت ينزلها أحسن المنازل.. فامتثلت إشارته وتجهزت حتى قدمت عليه إلى مصر.. واستمرت معه حتى مات، وكان قد أسكنها في بيت خاص..
ويأتي إليها في يومي الثلاثاء والجمعة من كل أسبوع، ولم يرزق منها أولادا، وكان شديد الميل إليها حتى قال فيها شعرا.
أما أولاده فهم خمس بنات وولد واحد، وهم: زين خاتون وفرحة، وعالية، ورابعة، وفاطمة، وبدر الدين محمد.
فكانت «زين خاتون» هي البكر، ومولدها في ربيع الآخر سنة 802، فاعتنى بها واستجاز لها في سنة ولادتها وما بعدها خلقا وأسمعها على شيوخه كالعراقي والهيثمي وأحضرها على ابن خطيب داريا، ثم تزوجها الأمير شاهي العلائي الكركي الذي صار داودارا عند المؤيد مدة، فولدت له عدة أولاد ماتوا كلهم في حياة أمهم، ولم يتأخر من أولادها إلا أبو المحاسن يوسف بن شاهين المعروف بسبط ابن حجر، وكانت قد تعلمت القراءة والكتابة وماتت- وهي حامل- بالطاعون سنة 833 ه.
وأما «فرحة» فكان مولدها في رجب سنة 804، واستجيز لها مع أمها، وتزوجها شيخ الشيوخ محب الدين بن الأشقر الذي ولي نظر الجيش وكتابة السر، وكان أحد الأعيان في الديار المصرية فولدت له ولدا مات صغيرا في حياة أمه التي كانت وفاتها سنة 828 ه بعد أن رجعت من الحج مع زوجها موعوكة.
وأما «عالية» فكان مولدها سنة 807 ه واستجيز لها جماعة وماتت هي وأختها فاطمة في الطاعون سنة 819 مع من مات من أفراد أسرة أبويهما.
وأما «رابعة» فكان مولدها سنة 811 وأسمعها والدها على المراغي بمكة سنة 815 ه وأجاز لها جمع من الشاميين والمصريين وتزوجها الشهاب أحمد بن محمد بن مكنون، واستولدها بنتا سماها «عالية» ماتت في حياتيهما، ومات عنها زوجها سنة 830 ه فتزوجها المحب بن الأشقر حتى ماتت عنه في سنة 832 ه، وعمل صداقها في أرجوزة.