Au milieu du XVIIIème siècle, une belle aventurière s'autoproclamant "comtesse" débarque à la Nouvelle Orléans dans le but d'y trouver un homme riche. Elle y rencontre Charles Giraud, un banquier sans grande envergure, avec qui elle décide de convoler en juste noces. Mais sa route croise celle de Robert Latour (Bruce Cabot), un beau marin...
Descendant d'une noble famille écossaise, Donald se voit contraint de vendre son château à un négociant américain, qui le reconstruit à l'identique et pièce par pièce en Floride. Mais la demeure n'est pas le seul héritage du jeune homme : le fantôme de son ancêtre Murdoch, victime d'une malédiction, hante les lieux depuis deux siècles et fait le voyage avec son habitat. Il arrive aux Etats-Unis en même temps que Donald, à qui il ressemble trait pour trait, créant une série de quiproquos fort embarrassants pour son descendant.