Será mantido o direito de visitas se o filho se recusar ao encontro com os pais?

Sim, pois é um direito do pai que independe da vontade da criança. A criança quer tomar sorvete no frio, mas cabe ao adulto dizer não, para evitar que ela fique doente. Da mesma forma, deve o adulto evitar qualquer comportamento da criança que a afaste do convívio do outro cônjuge, sob pena de ser responsabilizado por alienação parental ao não trabalhar para evitá-lo. 

 Ler a definição do direito de visitas dada por Rolf Madaleno pode ser esclarecedora para entender melhor a resposta dessa questão:

"Ainda no propósito dos interesses prioritários dos filhos, prescreve o artigo 1.589, do Código Civil que o pai ou a mãe em cuja guarda não esteja o filho poderá visitá-lo e tê-lo em sua companhia segundo o acordado com o outro cônjuge, ou no que for fixado pelo juiz, bem como fiscalizar sua manutenção e educação. A expressão visitas é havida como imprópria, por significar uma cortesia de ir ver alguém em sua residência, quando em realidade as visitas devem ser realizadas em lugar diverso da residência habitual do menor e muito menos a visita espelha a prática usual de o genitor não guardião permanecer alguns dias, usualmente em finais de semana com o filho visitado  , sendo certo que a denominação direito de visita não não expressa esta prerrogativa em toda sua amplitude, particularmente sob seu viés psicológico, pois buscam visitante e visitado relações de afeto, cultivando recíproca e sincera comunicação. [...] As visitas do genitor não guardião visam, em primeiro plano, ao benefício do filho menor ou incapaz para ele poder manter por igual um saudável e rotineiro vínculo de comunicação com o seu ascendente depois da separação de seus progenitores e desse modo manter uma estabilidade afetiva dos filhos para com os pais." (MADALENO, Rolf. Curso de Direito de Família. 5ª ed. Rio de Janeiro: Forense, 2013. p. 449-450)

Disclaimer: A solução no seu caso concreto pode ser diferente. Contrate uma consulta com o Dr. Paulo Ladeira, advogado especialista em família, para esclarecer detalhes ou divergências nos entendimentos dos magistrados, bem como as diferentes formas de se interpretar a lei.