Как расстаться с мужем?

У меня сейчас сложная ситуация, замужем второй раз, от первого брака имею двух дочерей. Развелись из-за измены мужа. Семь лет была одна, потом вышла замуж. Мой второй муж как бы это культурнее сказать полная противоположность первому, может не бриться неделями, целыми днями играет на компе, заработками не озабочен, но ко мне относится хорошо, не обижает. Все годы что не живу с первым мужем он помогал материально, исправно платил алименты, одевал и обувал детей, возил на море, дарил им дорогие подарки и все такое. Пять лет он был в браке, теперь развелся и предлагает мне жить вместе с нами. Для этого он купил дом и полностью его обставил. Я сижу в раздумьях второй муж хороший человек но живем в основном на мою зарплату, в моем доме, ездим на моей машине, кредит за машину и комуналку плачу я. Бывший муж ждет моего решения, но как я этому скажу проваливай типа, ведь ничего плохого он не слелал, но любви к нему уже давно нет, а есть тихое раздражение, да и дети постоянно зудят, типо хотим с папой жить. Как мне дипломатично выйти из ситуации? Скандалов я не люблю.