Hijo de inmigrantes italianos y criado en Brooklyn, Saxon fue descubierto en la década de los cincuenta por el cazatalentos Henry Willson, quien lanzó las carreras de estrellas Rock Hudson y Tab Hunter, y fue interpretado por Jim Parsons en la miniserie de Netflix 'Hollywood'. Tras varios papeles cortos, en 1958 ganó el Globo de Oro a la estrella emergente por su trabajo en 'La pícara edad' (1958), filme dirigido por Blake Edwards y protagonizado por Debbie Reynolds.
Conseguiría una nominación a otro Globo de Oro, en este caso como mejor actor de reparto, por su interpretación en 'Sierra prohibida' (1966), un western protagonizado por Marlon Brando en el que interpretó a un bandido mexicano. Pero la popularidad le llegó con su trabajo junto a Bruce Lee en 'Operación Dragón' (1973), la cinta de Robert Clouse en la que interpreta a Rope, el improbable aliado del protagonista en un torneo a muerte de artes marciales.