賴家祖先曾在潮為官，皇帝賜封「秘書第」。祖先賴熊飛(別名：賴路二)是武舉人，嘉慶年間擔任六堆義勇軍第四屆大總理，協助清廷平亂，榮獲五品花翎的殊榮。賴熊飛善使大刀、至軍威嚴，六堆義民出堆時，他們的父母都會警告子弟：「敵人不必怕，違背軍令被賴路二斬頭過刀才可怕。」。賴家現在仍保有當時配戴的大關刀，刀身四尺三吋，刀柄二尺八吋，日治時代進行大規模徵鐵，家族為防關刀被偷走，將之藏起來。