戶籍地變更，勞健保相關問題 - 工作

各位大大好，
最近家裡為辦土地相關事宜才發現戶政事務所發的門牌地址是錯誤的(錯了十幾年="=)，
全家人身份證上的戶籍地址也全都寫錯，
現在只好去辦理變更，
但因為我目前工作的地方有幫我保勞健保，報稅時也會給我扣繳憑單，
上面也都需註明我的戶籍地址，
那請問我需要通知勞健保局及稅務處變更我的戶籍地址嗎？
因為我才剛畢業不久，在那間公司上班也不到一年，
幫我處理勞健保事宜的是我的上司，
之前是另一位小姐處理，後來因為某些原因變成他的工作，
他們兩個也因為這件事情而有小小的不開心，
所以我怕說請上司再幫忙修改我的資料會惹他不高興，
可又不知道修改與否會不會有可能影響到我的權益
麻煩了解相關情形的大大幫忙回答，
謝謝。