Bail de 3 ans et garantie locative

Bonsoir à tous,

Voilà, en 2011, j'ai signé un bail de 3 ans pour un appartement. Le bail contenait la close "en cas de résiliation par faute du preneur, il sera demandé une indemnité compensatoire équivalente à 3 mois de loyer".

Milieu 2012, je me vois proposer un appartement à loyer modéré. Je contacte donc le propriétaire, avec qui je conclus un accord verbal. 3 mois de préavis et je dois trouver un nouveau locataire.

La fin des 3 mois arrive, nouveau locataire accepté par le propriétaire, nous en sommes à la remise des clés/état des lieux de sortie.
Tout est en ordre, rien à signaler. Le propriétaire ne fait pas d'état des lieux en bonne et due forme, pas de papier, pas de signature, rien.
Avant de se serrer la main, il m'annonce qu'il veut un dédommagement équivalent à 2 mois de loyer suite à la rupture du contrat de bail.

Je refuse, il refuse la libération de la garantie locative. Cette situation est restée figée depuis lors.

Ma question est la suivante:
Est-ce que ça vaut la peine, après tout ce temps, d'aller en justice de paix? Ai-je une chance de récupérer l'intégralité de cette garantie locative?

Merci d'avance de votre participation et bonne soirée.