Etat du lieu loué non conforme

Nous avons commis l'erreur de signer un bail pour un appart qui était encore en chantier. Le proprio nous a énuméré tout ce qu'il comptait faire dans l'appart et cela nous a convaincu malgré un loyer fort élevé (1000 euros/mois). Nous n'avons non seulement pas pu emménager à la date prévue dans le bail étant donné que les travaux n'étaient pas terminés (3 semaines plus tard) mais en plus, tous les travaux promis ont été bâclés ou non entrepris. De nombreuses choses sont à refaire et le propriétaire est d'accord pour que nous nous en occupions avec en contrepartie une baisse de loyer correspondant aux heures qu'il estime nécessaires pour les dits travaux. Nous trouvons cela totalement aberrant car non seulement nous payons beaucoup trop cher pour un appart qui ne les vaut pas mais en plus, nous ne pouvons réellement nous installer vu les travaux futurs. Que pouvons nous utiliser comme recours?