Có nên ly hôn vì chuyện tế nhị của 2 vợ chồng

Các bạn cho mình xin ý kiến với. Mình đang có con nhỏ được 4 tháng tuổi. Khi mình đang mang bầu thì mình có kiêng cữ nên 2 vk ck ko gần gũi trong 1 thời gian khá dài. Và trong thời gian mình mang bầu mình phát hiện ck mình đang tự sướng và trước mặt ck mình là đồ trong của em gái mình. Khi thấy mình thì ck mình đã rất sợ hãi. Ck mình có nói là do có nhu cầu mà mình đang mang bầu nên... Và mình cũng đã bỏ qua. Nhưng hnay mình lại tiếp tục thấy tình trạng đó tái diễn. Mình thấy mà bùn kinh khủng. Giờ mình ko bít phải nên như thế nào. Có nên ly hôn khi con mình còn quá nhỏ hay lại tiếp tục vì con mà bỏ qua và sống với người đàn ông đó.