威廉·卡文迪許

他結過兩次婚：第一次是喬治亞娜·卡文迪許，第一代斯賓塞伯爵約翰·斯賓塞的女兒；第二次是伊麗莎白·福斯特（即伊麗莎白·卡文迪許，原名伊麗莎白·克里斯蒂娜·赫維），第四代布里斯托爾伯爵的女兒；伊麗莎白夫人曾是他的情婦，也是他第一任妻子長達20多年的朋友和知己。

通過他的第一任妻子，他有一個兒子（威廉·卡文迪什，第六代德文郡公爵，有時被稱為 "單身公爵"，他繼承了他的事業，並於1858年未婚去世），和兩個女兒。兩個女兒都留下了後裔，克利福德男爵的頭銜在她們之間停滯不前。公爵爵位和地產將傳給第五代德文郡公爵的一個弟弟的孫子；然而，第七代德文郡公爵將娶第六代卡萊爾伯爵的一個女兒，因此她是第五代公爵的孫女和第六代公爵的侄女。

喬治亞娜·卡文迪許成為一個社交名流，她周圍聚集了一大批文學和政治朋友。托馬斯·甘斯伯勒和約書亞·雷諾茲為她作畫；甘斯伯勒的畫作被第五代公爵處理掉了，後來經過多次變故才被找回來。

他的第二任妻子伊麗莎白·福斯特女士沒有合法的後代，但這對夫婦有兩個婚前出生的私生子。一個兒子奧古斯塔斯被賦予克利福德的姓氏，成為奧古斯塔斯·克利福德爵士，並晉升為皇家海軍的海軍上將和上議院的一員。公爵與伊麗莎白夫人所生的女兒卡羅琳被賦予了一個與她哥哥不同的姓氏，即聖朱爾斯。卡羅琳·聖朱爾斯將嫁給喬治·蘭姆閣下，他是第二代墨爾本子爵威廉·蘭姆的兄弟（他本人與卡羅琳·龐森比夫人結婚，她是喬治亞娜·斯賓塞夫人的外甥女）。卡羅琳和喬治·蘭姆沒有後代。

第五代公爵有一個女兒夏洛特，由他的情婦夏洛特·斯賓塞所生，她是一個貧窮的牧師的女兒。他的第一個孩子是在他與喬治亞娜·斯賓塞夫人（與他的情婦沒有關係）結婚後不久出生的。夏洛特後來也有了合適的婚姻。