Libération de garantie locative

Bonjour à tous,

J'occupe actuellement un appartement depuis Aout 2005. Le bail de location a été conclus pour une période de 3 ans. Le bail précise que, si je quitte le logement avant la fin des 3 ans je dois donner à mes propriétaires une indemnité. Dans mon cas, étant dans la troisième année, je dois remettre un mois de garantie locative à leur profit.
Hors, en début de bail, un différend nous a immédiatement opposé car mon propriétaire a tenté de me faire payer 75 € pour une expertise pour l'établissement de l'état des lieux qui n'a jamais eu lieue et à laquelle je n'ai pas pu participer. En réalité, mon propriétaire a pris l'état des lieux réalisé par un expert il y a 10 ans et y a annexé une feuille tapuscrite réalisé par ses soins pleine de fautes de français. (Il est néerlandophone... Soit...). Etant donné que de un, l'état des lieux m'a été remis après le premier mois d'occupation et que de deux, son annexe n'était pas complète (rien ne correspondait avec précision), j'ai refusé de payer et suis parvenu à ce que aucun état des lieux ne soit rédigé et signé. Il a été forcé de constater que je ne n'allais pas me laisser faire face à une telle arnaque puisque son petit manège a fonctionné avec d'autres occupants de l'immeuble. Combien s'est-il fait d'argent avec toutes ces victimes qui payent sans se poser de question? En finalité il conclus aujourd'hui des états des lieux à l'amiable avec les nouveaux occupants. Au moins je suis parvenu a faire cesser ce manège.
Toujours dans le cadre de ce différend, j'ai fait écrire manuellement mes propriétaires sur une feuille les termes suivants:
"je soussigné XXX x déclare laisser partier le locataire immédiatement sans dommage. garantie complet. pas de état des lieux" Date & Signatures des deux propriétaires. (PS: retranscription exacte)
Aujourd'hui, certes deux ans et demi plus tard, j'ai donné mon renom et cherche à récupérer ma garantie locative dans son intégralité. (Je vais enfin devenir propriétaire). Mes propriétaires ont pris connaissance de mes intentions et mettent en avant le bail que nous avons conclus sans vouloir tenir compte de ce petit mot manuscrit que je leur ai fait écrire et signer en ce temps. Ont-ils le droit d'agir de la sorte ? Suis-je en droit de réclamer la totalité de la garantie locative ?
Dans la mesure où je laisserais ce mois de loyer réclamé en dédommagement, suis-je en droit de demander à ce que cette garantie locative soit restituée avant la fin de mon préavis? J'ai besoin de cet argent. La garantie locative n'est-elle pas là uniquement pour couvrir d'éventuels dégâts locatifs? Dans mon cas, il n'y en aura pas puisqu'il n'y a pas d'état des lieux, d'où j'imagine qu'il ne pourrait rien me réclamer à ce sujet. Dans l'hypothèse où je m'adresserais à la justice de paix, pensez-vous que j'aurais une chance d'avoir gain de cause et récupérer l'entièreté de ma garantie locative et ce, compte tenu ce petit texte manuscrit susmentionné?