Locataire refuse de réaliser un état des lieux de sortie

Mais que dit votre bail à ce sujet? ELS à l'amiable ou par expert?
Le bail PIM prévoit que l'ELS doit être exécuté au plus tard le dernier jour du bail et que les parties s'engagent à être présentes ou dûment représentés...

Les clés sont remises en fin d'ELS.

Donc pas d'ELS en votre présence, pas de remise de clés...

Seul le rapport d'un expert judiciaire, donc désigné par le juge de paix pour réaliser l'état des lieux de sortie de CE BIEN sera indiscutablement pris en compte par la justice.
Tout autre expertise, même par un expert reconnu et même assermenté ( géomètre expert immobilier) restera toujours considéré comme unilatéral s'il n'a pas été commissionné par le propriétaire et le locataire.
Vérifiez votre bail qui comprend peut être les modalités de sortie.
Tentez une négociation avec votre locataire.
Ou mandaté un expert pour vous représenter et assister.  Il prendra contact avec le locataire et son expert pour fixer le rdv.  Les 2 experts en général procurent un sentiment de sécurité pour chaque partie et assume un rôle de tampon diplomatique entre les parties.

C'est parfaitement illégal! Et hyper dangereux pour eux, car jamais ils ne pourront prouver qu'ils vous ont bien rendu les clés!
Vous pourriez les attaquer pour occupation du bien sans titre ni droit, et ils devraient continuer à vous payer une indemnité journalière pour cette occupation illégale. Il faut vraiement être un crétin de 1ere classe pour penser qu'il soit possible de vous remettre les clés dans votre boîte aux lettres!

Ils se moquent de récupérer leur garantie?

Voilà une belle affaire à porter devant le Juge!

Vous devrez de toutes façons y aller pour récupérer leur garantie.

J'ai eu un cas similaire pour un kot étudiant: clés renvoyées par la poste, avec courrier du style "va te faire voir".

J'ai fait l'état des lieux de manière unilatérale, avec un témoin (un autre student), et j'ai calculé mes dégâts locatifs.

L'affaire a été portée devant le juge, qui m'a donné droit sur toute la ligne. Le témoin n'a pas du se déplacer pour témoigner. Le papa était présent à l'audience, pas le locataire.

Les dégâts étaient limités (nettoyage suite à 3 mois d'inoccupation, et autres biesseries) mais il y avait des impayés.

Le locataire a refusé de payer. J'ai dû lui envoyer les huissiers, et, à la saisie pour vente du mobilier, il a tout payé.

Tu ne peux rien faire d'autre que leur indiquer clairement et directement qu'un état des lieux doit être contradictoire !
Que pour cela, il ne pourra être fait qu'en ta présence ou celle d'une personne que tu auras mandatée.

Tu peux en profiter pour proposer de faire cela par un expert.
Et que la remise des clés ne peut se faire que lors de cet état des lieux, et en mains propres ou par exploit de huissier.

faire constater les dégâts par un huissier, est selon moi, une solution

j'en parlais comme d'une solution de dépannage Françis, ou comme un plus à une expertise
l'huissier ne se prononcera pas, mais si il constate une baignoire abîmée, ou des graffitis sur les murs, il le notera, et si l'ELE indique : baignoire état neuf et murs fraîchement repeints, ben le constat d'huissier sera utile quand même