Pocos saben que Spencer también fue un gran atleta. Jugador de waterpolo, fue el primer italiano que bajó del minuto en los 100 metros libres, participando además en los Juegos Olímpicos de Helsinki 1952, Melbourne 1956 y Roma 1960.