Mon ancien bailleur ne veut pas me rendre la caution!

Bonjour à tout le monde!

Je fais appelle à vous pour que vous m'aidiez à résoudre le problème que j'ai avec mon ancien bailleur. Je vous explique. En septembre 2005 j'ai signé un contrat de bail d'un an. Tout c'est très bien passé avec le propriétaire pendant toute cette période là. Après 6 mois je lui ai dit que je n'allais pas poursuivre le contrat une fos fini, car j'avais l'intention d'acheter un appartement, mais que je resterais jusqu'à la fin du contrat. On s'est mis d'accord pour faire visiter l'appartement, et je crois bien qu'il a été loué à mon départ, septembre 2006. Hélas, ça fait déjà 6 mois que j'attends qu'il me rend la caution et je ne l'ai toujours pas reçu. Son explication: son père, qui est aussi propriétaire de la maison (mais avec qui je n'avais eu aucune relation et que, d'ailleurs, il n'est pas mentionné dans le bail), considère que, comme je n'ai pas écrit une lettre recommandée trois mois avant mon départ, il dit qu'il n'a pas à me rendre la caution (deux mois de loyer).

C'est légal de ne pas rendre la caution parce que je n'ai pas écrit cette lettre? Même si j'ai prévenu bien à l'avance que je ne le poursuivrais pas, une fois fini? En fait, son fils et moi avions une relation très amiable et il ne m'a jamais dis que je devais envoyer de lettre recommandée; on s'est mis d'accord en parlent. C'était un accord tacite.

Qu'est-ce que vous en pensez? Tous les conseils seront les bienvenus :-)