以前有兩個姊妹分別嫁給曾姓和涂姓人家,嫁給曾姓的大姊比較憨厚,嫁給涂家的妹妹比較精明,剛好兩家住在隔壁,曾屋比涂屋佔地寬一些,後來兩人決定合蓋祖堂,比較省錢、感情也比較好,於是把中間隔著的籬笆拆掉,合蓋祖堂,曾家的堂號是「三省堂」,涂家的是「五桂堂」,因此合稱「三五堂」。