Человек из прошлого

Мне 23 года, я замужем несколько месяцев, эти отношения строились на полном доверии и взаимопонимании больше 3 лет. Мужа я очень люблю, но он все время в отъездах потому что работает. Когда-то давно, еще в школе меня долго добивался парень, с которым я в итоге стала встречаться, все было замечательно, это была первая любовь и очень сильная. После окончания школы я уехала учиться в другой город, но постоянно приезжала к нему, и вот спустя пол года все испортилось. Он перестал обращать на меня внимание, завис в сетевой игре и кроме нее ничего ему не было нужно. В итоге я просто перестала приезжать и общаться с ним. Мы не виделись больше 5 лет, а тут списались в социальной сети. Самое странное что у меня нет даже доли негатива по отношению к нему и тому как он тогда поступил. А теперь он признался что слишком поздно понял, что потерял меня навсегда. Говорит что все это время любил только меня и хочет встретиться. Я не могу разобраться в себе, я не знаю что же на самом деле чувствую по отношению к нему. Одно я знаю точно, свою жизнь я менять не стану и оставлю все как есть, но как мне отказаться от прошлого? Как дать понять этому парню что меня уже не вернуть? Чувствую себя паршиво, ведь общаясь с ним я обманываю мужа в какой-то степени. И почему мне хочется общаться с ним не смотря на все это?