Как поступить в данной ситуации?

Здравствуйте,я хотел бы проконсультироваться что мне делать в данной ситуации,хотя может быть это и покажиться глупым.Дело в том что сегодня к нам на работу пришол новый сотрудник,он очень похож на "гопника",в конце рабочего дня он хотел поехать со мной на маршрутке,вроде бы по пути.Я ему сказал что я не езжу,а хожу домой пешком,в ответ на это он был ошеломлен,типо "как так? я бы не смог" и взял,дал мне денег на проезд,я сначала отнекивался,но он всё же положил мне деньги в руку и сказал "это не деньги" я возмутился говорю не хочю влезать в долги,он ответил "забей когда нибудь и ты мне поможешь".Всё бы ни чего,да вот только одно меня беспокоит что когда-то я попалься на такую уловку еще в школьном возрасте и много потом потерял финансов.Скажите пожалуйста как мне теперь поступить или как и что ему сказать только помягче,потомучто я не могу оскорблять людей ,может вернуть ему эти деньги завтра,и как,потому что он будет говорить что не надо отдавать это типо не деньги,но разведенным лохом тоже не хочется быть,как поступить в данной ситуации,подскажите пожалуйста.