在公元655年，唐高宗欲废皇后，另立新皇后。这一决定引发了朝廷的争议，褚遂良等大臣坚决反对，而李义、许敬宗等人则持支持态度。双方争论激烈，唐高宗陷入了困境。在此关键时刻，他找到了功勋卓著的徐茂公寻求意见。徐茂公深知事情的重要性，明白如若处理不当，可能会招来杀身之祸。
徐茂公表现得极为谨慎。他表面上支持长孙无忌、褚遂良等人的立场，私下里却悄悄支持许敬宗等人。当唐高宗问及此事时，徐茂公回答说：“此陛下之家事耳，何必更问外人。”这句话的意思是，这是你们家里的事情，何必让外人插手。虽然徐茂公没有明确表示自己的立场，但这句话无疑是在支持唐高宗的决定。唐高宗听后豁然开朗，随后便册封武则天为皇后。按常理来说，武则天应该感激徐茂公的助力。
命运多舛。徐茂公的孙子徐敬业继承了他的爵位，但在徐茂公第一次见到徐敬业时，便看出了他面相不凡，甚至预言徐敬业将来会是家族的祸患，可能导致家族满门覆灭。为了除掉这个潜在的威胁，徐茂公曾试图在打猎时杀掉徐敬业。徐敬业急中生智，躲进马肚之中，得以逃生。
不幸的是，徐茂公的预言成真了。徐敬业因反对武则天称帝而发动叛乱，最终不仅自己被杀，还连累了整个家族，甚至导致祖父徐茂公的坟墓被挖掘，棺木被焚烧。这一事件令人不禁感叹，徐茂公一生纵横沙场，被誉为和李靖一样的杰出人物，最终却未能得到安宁，甚至连尸骨都难以保全。
