Como posso fazer com que ele conversa no mano a mano comigo?

É óbvio -- você precisa guiar a conversa para o tópico que mais interessa a ele. Alguma coisa que ele gostaria de discutir com outro homem, em particular...

Simples. Basta humilhá-lo na frente do séquito dele até que ele precise implorar para você parar. Então você pode explicar que foi apenas uma manobra para separá-lo das minas dele...