droits d'enregistrement /réduction et amande

Bonjour,
Dans le cadre de l'obligation d'habiter le bien dans le cas de la réduction de droits d'enregistrements à 6% pour habitation modeste en wallonie, j'ai lu ici ceci:

l'inscription doit avoir lieu endéans un délai de trois années qui suit la date de l'acte notarié d'acquisition, et doit être effective pendant une durée ininterrompue de trois ans. Si ces conditions d'occupation ne sont pas respectées, l'acquéreur devra payer à l'administration, non seulement la différence de droits entre le droit normal de 12,5% et le droit réduit de 6%, soit 6,5%, mais aussi une amende qui peut atteindre 6,5% complémentaires. Dans ce cas, le droit payé serait de 19%!

Je me demandais ce qui se passe, au niveau de cette amande dont je n'étais pas au courant, si on change d'avis dans le délai de trois ans qui suit l'achat de cette maison modeste : on peut sincèrement avoir l'intention au départ d'habiter le bien (lors de la signature de l'acte, payement des droits d'enregistrement au taux réduit), et puis devoir au bout de quelques années aller vivre ailleurs, parce que la vie change (emploi, famille, envie d'aller au soleil, ..)
Bref, doit-on craindre de payer cette amande dans ces cas ?

Vos avis sont les bienvenus.