退租時、須重新粉刷油漆交屋嗎? - 工作

我工作的地方，公司樓上剛好有一個套房，所以老闆就承租給我，
算起來我的老闆是2房東，要搬進去前，因為房間內牆壁很髒，老闆就隨便找工讀生刷了最髒的2面牆(並沒有整間粉刷)，而且工讀生刷完的牆壁非常不均勻還淒色不同，我還是租了，我們簽約半年，契約書上並沒有註明退租時須重新粉刷。
我一住就住了2年多，中間簽約的契約書到期我們也沒有重簽，因為老闆娘說沒關係，這麼熟了。
後來因為離職，所以我要搬走，環境我有打掃的很乾淨，交屋時...我的老闆對我說，房間牆壁這麼髒他要請專業的來粉刷牆壁，要我付這筆費用。
PS:我並沒有破壞牆壁，牆壁也沒有掉漆，或是人為因為造成牆壁髒，有的只是因為房間很潮濕，家具放久了沒有移動過位置，移動後就會明顯有家具的痕跡
我跟我們老闆說:解釋牆壁為什麼會這樣(↑PS的內容)，與當初上一位員工搬走時也沒粉刷，並且你們也只是找工讀生花300元亂刷一通，契約書上也沒有說交屋要重新粉刷，為什麼我要重新粉刷還你還指名專業的粉刷一間要約3000元，這樣要求很不合理。(老闆押金還沒退我)
很擺明的老闆想凹我 ˊˋ因為不只交屋的事，還有薪水要扣東扣西。
結果老闆回我說:不管走到哪、退租本來就是要重新粉刷交屋，我要搬進去前還花錢請人家粉刷，我還嫌髒，退租後房間才髒，還說他會去問法律顧問，看是我有理還是他有理。
我想先確定...我是不是要重新粉刷交屋ˊˋ
如果不用..我應該要如何與他們對抗ˊˋ
我只想大是化小，小事話無...不想在跟他們有所接觸(人心險惡)
。