Как мне поступить?

Здравствуйте, мне нужна помощь психолога, дело вот в чем.Когда мне было 20 лет у меня был молодой человек, мы встречались, он мечтал о том, что мы поженимся, но мне на тот момент это было ненужно, мне хотелось гулять, петь и танцевать, его это не устраивало, он немного помучился со мной, а потом женился на хорошей девушке, которая смогла дать ему то что он хотел, прошли годы, я нагулялась и встретила своего человека, вышла замуж и родила дочь, все было неплохо, хотя я со временем начала понимать характер своего мужа, который вроде любит, но при этом я вроде служанки, должна все принести, унести, и если пытаюсь ему сказать, что нужно быть немного самостоятельнее, он надувает губы. Первую серьезную трещину наш брак дал, когда он напился и выгнал моего отца, зимой ночью на дачу, я хотела уйти сразу, но мой отец уговорил не делать этого потому что я осталась бы на тот момент с грудным ребенком без работы и с кредитами, и в этот момент появился он этот самый парень из прошлого. Писал мне о том что не может забыть и все в этом роде, от большой обиды на мужа я встретилась с ним, мы поговорили и он попросил видеться хоть иногда, чтобы хотя бы поговорить, посидеть рядом, я вроде согласилась, потом придя домой решила, что нужно не заниматься ерундой, а попытаться спасти свой брак, я перестала отвечать на сообщения и звонки и вроде все улеглось. Следующая наша встреча состоялась летом, после того как я убежала с ребенком от мужа, который разбил мне губу, а моей сестре поломал челюсть, мы опять встретились, он помогал мне завозить ребенка к няне и просто разговаривал со мной о жизни, затем мы с мужем помирились и я опять вычеркнула его из своей жизни, и вот неделю назад он опять мне написал, странно даже что не обиделся за то что я в который раз просто замолчала, и опять все сначала. Я все время думаю обо всем этом и не могу в себе разобраться, то ли мне нравится с ним видеться, чтобы повысить свою самооценку, которая занижена из-за того, что мой муж ведет себя как король и в быту и в постели, то ли потому что этот парень был моим первым мужчиной. Дело в том что просто разговоры и встречи рано или поздно приведут к сексу, а мне этого не очень хочется, да и измена для меня противное слово, но и вычеркнуть его из жизни навсегда я почему то не могу. Может вы поможете мне