Стоит ли это делать?

Скажем так - "это очень скользкая дорожка".

Одно дело фантазироваь и говорить об этом. И совсем другое дело - "сделать это". Ведь - потом уже обратной дороги не будет - и в душе у вас и у  вашей жены будет  всё время память о том что "она физически была с другим мужчиной". 

Можно попробовать поисследовать ваши (и  вашей жены) фантазии по поводу того - "что это будет, как всё будет происходить, что вы оба будете при  этом чувствовать" - в кабинете психотерапевта, где исключён физический контакт - но обсуждать можно всё что приходит в голову - и даже то что в неё и не приходит.

Если хотите - можете обратиться ко мне, я могу вам помочь получше во всём разобраться.

Пётр Юрьевич Лизяев, психолог-психотерапевт
Очные консультации/психотерапия в Москве - индивидуально и в группе, а также по Skype.

Вы хотите осуществить свою фантазию. Жена согласна. Это ваша семья и ваши игры. Почему вы сомневаетесь и спрашиваете мнение посторонних? 
    Либо вы не уверены в своём решении; либо у вас страх, что подобные игры нарушат ваши отношения с женой. 
    Пишите, звоните, разберём ваши страхи и неуверенность.