以下是百度百科对寒门的解释。
寒门，指寒微的门第，专指门第势力较低的世家也叫庶族，并非指贫民阶级。
庶族亦称“寒门”、“寒族”。魏、晋、南北朝时不属于士族的家族，大多为普通中小地主。魏晋之后由于出现了科举考试，士族衰落，寒门泛指家境贫寒的家庭。
寒门还有以下五重意思：
1.古代传说中北方极寒冷的地方。
2.即谷口。古代地名。在今陕西礼泉县东北。
3.寒微的门第，专指门第势力较低的世家也叫庶族，后引申为贫民阶层，家境贫寒的家庭。
4.谦称自己的家。
5.江西广昌县方言。在JX省广昌县方言有特殊的地位。常在“寒门”二字后加一个“崽”，称“寒门崽”。寒门，在广昌人交流中本意是说对方笨，或说愚蠢。但略带诙谐意，常被亲昵的人称呼，则意为“小傻瓜”等。
综上所述，家境贫穷，吃不起饭的贫民家庭，也能叫寒门。不是说一定得是贵族落魄，才叫寒门。