Хочу быть с этим человеком

Я бухгалтер,познакомились с парнем на работе,он работал инженером. Ухаживал за мной пол года,я сначала даже не понимала этого по той причине,что только рассталась с бывшим. У нас сложились дружеские отношения.Потом стали встречаться. У нас разница 9 лет,я старше у меня дочь,а ему 25 сейчас. Отношения складывались неоднозначно,сначала он предложил жить вместе-я отказала,потом при ссоре(мы фактически расстались)я предложила сойтись,он согласился. Прожили 1.5 года,переехали в мою квартиру и через пол года он ушел на квартиру,мотивируя это тем что ему надо готовиться к экзаменам. Я в тот момент ушла с прежней работы и готовилась к операции,ужасно обиделась что в самый тяжелый момент осталась одна,хотя он и приезжал постоянно. Поругались,я сказала что бы он убирался. Он вернулся через пол часа. Сейчас квартиру так и снимает,а живет с нами. Думаю из-за этого у нас периодически возникают конфликты.Не возвращается,мотивируя это тем,что я могу его выгнать а пойти некуда. Предложила снять двухкомнатную квартиру,а нашу сдать(финансовое положение так сложилось),а он уперся что жилье которое снимает оставит. Я пыталась объяснить что для нашей семьи это накладно,но в очередной раз поругались.Что делать,ума не приложу.Расстаться,самое простое,но ведь не факт что найдешь что-то лучше,а мы ведь уже вместе 3 года,и дочка сильно переживает.Я понимаю что 3 года - это не показатель,просто я хочу быть с этим человеком,но и ноги о себя вытирать не позволю.Надоело.Помогите.