部門轉調謠言滿天飛 - 離職

最近因工作需要，新單位的人員離職需要一個人力，
所以新單位主管(簡稱A)想請我過去幫忙，
這期間原單位主管思考很久才同意，
目前已轉調過來。

目前遇到的是因原單位是全公司出名的操，
加上主管在公司風評不好，
但原單位主管平常在工作會指點並教導方法，
但有時會太過嚴苛，但對我並不壞，
只是工作比新單位多太多，
所以我選擇同意調部門。

不過原本想說單純換個單位工作並沒有甚麼，
但公司卻有人到處傳言我是為了想攀關係，往上爬之類不好的話語
加上被一堆人問為什麼要調單位，原單位主管是不是不好之類的。

在這情況我很兩難，不能說原單位主管怎樣，但又為什麼調，
怎麼不是新單位請個新人就好。

請問各位調部門都這麼複雜嗎?
該如何說明比較不傷兩方主管呢?
因為一方是挖我過去的，另一個又是原單位對我不差的，
好難為阿~原單位主管在公司目前還常遇到

--