關於免除撫養及未來被告棄養問題 - 工作

家裡的爸爸名下有一戶房子，爸、媽、我、哥，妹妹已嫁出去夫家住
我們全家四人都住在這戶房子裡~
但...自我大學後，他從牢裡放出來後就沒有工作了
如果他真要說要有賺錢的話，也是因為媽媽自己開家庭代工幫忙
然後他每天晚上都不見人影
媽媽每個月都有給他固定的薪水(等於是給他的開銷)
但常常都會喊說沒錢了、錢花光了，叫我媽給他錢
當然如果不給他的話......
要嘛轉頭走人、要嘛就是發脾氣摔東西，雖然動手打人的次數很少就是了
但前天他要不到錢，發飆說這個房子是他的，叫我們滾出去自己想辦法找地方住
然後他要把房子賣掉，賣掉的錢自己拿走......
p.s....他賣掉的錢一定不少~!!一定足夠他過好一段時間
甚至正常用法，可以平穩的過下半輩子
那麼我想問的問題是........
1.
我們都已經是成年子女了，有辦法自力更生，萬一他真的花光了
然後再回頭找我們要錢，我們能不能用因為他棄養我們、或是什麼之類的理由
來跟他說，我們沒辦法養他？也沒辦法給他錢？
因為如果真的他回頭再來找我們
依照我們全家瞭解他的個性....不是兩敗俱傷，就是不堪其擾？
因為他還有說，"如果我們以後不理他、不養他，就要告我們棄養"
2.
針對他要賣房子，把我們趕出去自己想辦法找地方住的這一點
能不能夠對他的撫養義務先做一些防範？
就算是減輕也好，不過最大的希望還是免除撫養
只希望他拿到錢後，別再來打擾我們家各自的生活
也希望他別在外面錢亂花光後再來想辦法在我們身上不擇手段挖錢....
我們三人有辦法自力更生
也能夠勉強買一間還可以的房子
但是只怕這樣的問題會一直重複下去
重點還是在那麼一點
只希望""他""別再來打擾我們，讓我們好好的、平靜的生活下去
別再來想盡辦法來挖我們三人任何一個人的錢
已更新項目:
我補充幾點好了~
房子確實是父母婚後才買的~這我有聽說，可以去訴請拿回
但我們的希望是，讓他全拿走沒關係，只希望他拿走後以後別再來找我們
因為只要錢有被媽媽拿走，他就有機會回頭找我們
第一點的問題....
所以我要開始想辦法錄影他丟東西、摔東西，打爛物品的影片嗎？
2 個已更新項目:
關於未滿20歲前有沒有盡到扶養義務...
有，但是是到我大一的時候...滿18歲~
但是有個小小的疑問點~因為他當時只被輕判一年2個月
所以從牢裡出來的時間點上，我還未滿20歲
但是...他出來後，就去媽媽自己開的家庭代工幫忙~(他要求的，媽媽也默認)
只是他都沒有真的很努力做，幾乎都幫忙而已
就我所知，大約是早上九點(再早也頂多是九點)到中午
幾乎下午都在家休息....這樣算是有盡到撫養義務嗎？
3 個已更新項目:
如果要用他們結婚來做為拿到財產的方式也不是不行
但是我覺得，那我們必須要有個前提是他不會傷害到我媽
因為我們家三個小孩沒辦法隨時保護我媽
因為他就是一個這麼糟糕的男人
為了錢，可以差不多算得上是不擇手段了
雖然是沒有用騙的方式，但大多都是用賣房子、趕出家門、摔東西來嚇我媽
因為這樣，我們也只能負擔一些生活家計當作幫忙...
剩下的就是希望快把錢存到快點離開
4 個已更新項目:
至於固定的花費...我媽每個月都有給他固定的錢
但是...如同一開始說的，他常常都會不夠
去年還前年，不知道怎麼洗腦，說家裡需要車
雖然他是用車來送貨，但是都會把這當做理由
說車子哪裡有問題？哪裡需要保養？還有常常要加油
所以一個月的花費都是以這做理由居多
叫他提供收據就說不信任他，又開始發脾氣
話說，我們真的已經做了很長時間的溝通了
例如：如果房子他繳累了，我們可以幫忙，把房子過戶給我們
如果我們有了房子不養他可以告我們棄養之類的要他別擔心等等
再舉例：如果搬出去住了，我們就沒地方住了，我們要租房子也沒錢養你了
再再舉例：如果車子有收據，我們也可以用來報稅之類的等等
5 個已更新項目:
其實我們真的有做了很多很多的溝通
好說歹說也都說了快十年了
但真的我累了，我相信哥哥跟媽媽也累了
但媽媽很堅強，有苦都吞下，哥哥則是跟媽媽很像都忍耐
我真的忍無可忍，很想要脫離這個環境跟這種父親
我真的看清這種人的心態
媽媽是他的搖錢樹、我們是他的底牌
因為房子在他名下，所以他就一直在以這方式危脅我們會沒地方住
現在看我們有能力了，就把我們也當成未來的搖錢樹
不知道什麼時候就已經學到用棄養這招來警告我們別想不理他
然後現在不高興就想要賣房子，把錢拿走
直到錢賭完了、或是錢光完小三也跑了(小三是我的猜測，因為他每天晚上都出門)
才想要來挖我們的錢.......
6 個已更新項目:
謝謝你的提供，我會去看哈特單親部落格，謝謝