O show é focado igualmente nas relações entre Don Eppes, seu irmão Charlie Eppes e seu pai, Alan Eppes (Judd Hirsch), e na luta dos irmãos contra o crime, normalmente em Los Angeles. Um episódio típico começa com um crime, que é investigado posteriormente por um time de agentes do FBI liderados por Don e matematicamente descritos por Charlie, com a ajuda de Larry Fleinhardt (Peter MacNicol) e/ou Amita Ramanujan (Navi Rawat). Os pensamentos fornecidos pela matemática de Charlie são sempre, de alguma forma, cruciais para a resolução do crime.