不孕＋想離婚 - 工作

我今年39歲，結婚4年了，沒有小孩。沒小孩的原因，除了自己不孕（排卵功能極差，3年前開始無排卵），還因為我先生是個沒家庭觀念的人。
我跟他認識20年了，一直以來他總覺得我賢慧能幹，所以家裡大小事都推給我。我剛結婚時覺得他在園區工作忙壓力大，所以總把家裡的事承擔下來，去婆家幫忙到房屋修繕，無論平常標準裡是不是女人的工作幾乎都由我做。結果是，我自己因工作跟家庭壓力開始憂鬱症前兆，身體狀況也變不好。我發現，他很享受婚姻帶給他的好處，家只是他休息吃飯睡覺的地方，他花很多時間看電視、上網、打電動、玩模型，這些是他一有時間就做的事。所以，就這樣我們過了4年無性的婚姻生活。他說他無性是因為工作壓力大。但他工作輕鬆早下班或類似過年放長假時，就是在玩他的那些娛樂。他對於沒有小孩的事雖然嘴巴說想要小孩，但從沒為這件事做過任何努力。這幾年也都是我獨自一人去看婦科，他從沒問過我就醫情況。我對他已經恨多過愛了。
即使認識那麼久，我仍不懂他。我想要的婚姻（那種有小孩的幸福家庭）似乎無法從他手中得到，所以很想離婚。但離婚能解決問題嗎？我又想，假如聽醫生建議做試管，但要跟一個我恨的人生小孩，我無法想像那是什麼。
有專家或有經驗的網友可以給建議嗎？