Da hans mor dør, forlader den unge Peter Ibbetson Paris og sin bedste veninde Mary for at bo hos en streng onkel i England. År senere er Peter arkitekt med lidt tid til kvinder, indtil han begynder et projekt med hertugen og hertuginden af Towers. Da Peter og hertuginden bliver gode venner, afslører hun, at hun er Mary — men hertugen mistænker snart sin kone for utroskab og udfordrer Peter til en duel, hvilket truer parrets anden chance.