Как отвыкнуть от человека?

Я замужем, он тоже женат. Встречаемся тайно после работы каждый день на час-два. Он говорит что любит, но я вижу что это не так, не чувствую этого. Отношения заходят в тупик, с каждым днем он все больше пытается отдалиться, меньше звонков, больше ссор по пустякам. Я хочу порвать эти отношения, забыть этого человека, но не могу, незнаю что меня держит, при очередном конфликте я уже готова унизиться, проглотить свое мнение лишь бы сохранить отношения. Он говорит если я решу расстаться, то он примет это спокойно и оставит меня раз и навсегда. Но как мне это сделать, как забыть его?