Я не могу отказать и согласиться тоже не могу

ЗДРАВСТВУЙТЕ, меня зовут Катя,21 год, я хотела бы чтобы вы мне помогли разобраться в ситуации...У меня есть молодой человек с которым я уже встречаюсь 4 года, но тут я нашла работу временную и там молодой человек скажем так пригласил встретится пообщаться, погулять, я не сказала нет и да то же не сказала, сказала подумаю, и на с следующий день он опять спросил, я опять сказала, что мне не когда и не знаю как себя теперь вести. Я знаю одно что очень люблю своего молодого человека и не хочу делать ему больно, но так получается я не могу отказать и согласиться то же не могу. Когда то давно мне нагадали что я со своим молодым человеком расстанусь и у меня будет другой муж, и я думаю может она имела ввиду его, а я сейчас откажусь от него и все, но с другой стороны не знаю, я не хочу не чего с ним и люблю своего дорогого мне человека подскажите мне пожалуйста как поступить лучше в этой ситуации, потому что этому я то же не могу сказать нет.