Når moren hans dør, forlater unge Peter Ibbetson Paris og sin beste venn Mary for å bo hos en streng onkel i England. År senere er Peter arkitekt med lite tid for kvinner, inntil han begynner et prosjekt sammen med hertugen og hertuginnen av Towers. Når Peter og hertuginnen blir gode venner, avslører hun at hun er Mary — men hertugen mistenker snart sin kone for utroskap og utfordrer Peter til duell, noe som truer parets andre sjanse.