Сын графа Николая Петровича Шереметева и Прасковьи Ивановны Шереметевой-Ковалёвой-Жемчуговой.Был женат дважды. Первая жена Шереметева Анна Сергеевна(сын Сергей).Вторая жена Шереметева (ур.Мельникова) Александра Григорьевна (1825-1874).-сын Александр (1859-1931).Вторая жена уговарилова Дмитрия Николаевича,чтобы он написал завещание на Александра и он согласился,но во время одумался. По завещанию в качестве майората всё недвижимое имущество передаётся старшему в роде.Таким образом,Сергей Дмитриевич владел всем имуществом графов,в том числе и Кусково.