Haastaja sijoittuu 1930-luvulle suuren laman aikaiseen New Orleansiin. Kynnelle kykenevät yrittävät uhkapelata taloudellisen pärjäämisen ja huvin toivossa, nousten kenties sosiaalisessa hierarkiassa korkeammalle. Kulkurit ajelehtivat ympäri maata luoden työmahdollisuuksiaan suhtautuen elämäntapaansa kuitenkin tinkimättömästi. Tavaravaunulla pelipaikoille saapuva Chaney (Charles Bronson) törmää katutappelurinkiin pistäen ensimmäisen vastustajansa kanveesiin yhdellä iskulla. Lipevästi virnuileva ja kevytkenkäisen oloinen promoottori Speed kiinnostuu välittömästi uudesta tulokkaasta ja tarjoaa hänelle paikkaa tallissaan. Chaney on rehti ja reilu niin kauan kuin sovitusta pidetään kiinni, eikä sääntöjä aleta soveltamaan vastoin sopimusta. Eikä Chaneylle lopulta kukaan uskalla näyttää hauista. Tämän huomaa myös Speed, joka koettaa vetää välistä ennen kuin tajuaa, että Chaneyn vankkumattomiin taitoihin perustuvista ehdoista ei kuitenkaan voi luistaa.