呂代豪的母親是當時華人最大幫派洪門的四大姐之一，家中開設賭場，他從小就被教導：「打輸架就不要回家。」養成他逞兇鬥狠的個性。

身為軍人的父親，在呂代豪六歲時初次回家，隨即觀察到他小霸王的任性脾氣說：「這孩子再這樣下去，以後一定是流氓。」於是嚴厲管教他要勤於讀書。即使國小以全校第二名畢業，心中的暴戾之氣仍與日增長。