Changer d'organisme prêteur avant signature de l'acte ?

Bonjour,

J’ai signé il y a environ un mois un prêt hypothécaire. Je suis en attente de passer devant le notaire fin janvier. Entre-temps les taux ne cessent de baisser. Toutes les banques baissent leurs taux sauf l’organisme où j’ai contracté mon prêt. De ce fait, je trouve actuellement des taux plus de 0,5% plus bas que celui que j’ai obtenu.
M’est-il encore possible de renoncer à ce prêt et de me tourner vers une autre institution ? Si oui, y aura-t-il des frais de dédommagements ?
Merci d’avance pour vos réponses.