典出《汉书·霍去病传》。霍去病，西汉名将。官至骠骑将军，封冠军侯(今邓州市张村一带)，他两次大败匈奴贵族，控制河西地区，打开了通往西域的道路。汉武帝曾为他建造府第，他拒绝说：“匈奴不灭，无以为家。”意思是不消灭匈奴不想安家，人们用它表示卫国灭敌的决心和先公后私的胸怀。