Seine Frau war bis 2003 mit dem amerikanischen Filmproduzenten Mark Gordon ("Der Soldat James Ryan", "Grey's Anatomy") verheiratet. Das ehemalige Model führt heute eine Wohltätigkeitsorganisation für Kinder.

In erster Ehe war Spencer zwischen 1989 und 1997 mit dem Model Victoria Lockwood zusammen. 2001 heiratete er seine Studienfreundin Caroline Freud, die Ehe wurde 2009 geschieden. Der Earl hat aus erster Ehe vier und aus zweiter Ehe zwei Kinder. Seine jetzige, dritte Frau hat zwei Töchter.