Wentworth Earl Miller III est né le 2 juin 1972 en Angleterre, car son père y faisait ses études de droit, mais c'est aux États-Unis qu'il grandit, plus exactement dans le quartier new-yorkais de Brooklyn, où son père est assistant du procureur et sa mère enseignante spécialisée. Ensuite, sa famille s'installe à Sewickley en Pennsylvanie.
Son prénom provient de Captain Frederick Wentworth, un personnage du roman Persuasion de Jane Austen. Son père et son grand-père paternel se prénomment également Wentworth.
Wentworth Miller a de multiples origines : « Ma mère blanche est à la fois d'origine russe et libanaise. L'une de mes tantes m'a raconté que nous serions reliés à un pirate français, le capitaine Coquet... Mon père est noir, il a du sang Anglais, des origines syriennes et libanaises. Il a aussi une arrière grand-mère malienne-réunionnaise ». C'est l'une des raisons pour lesquelles il a étudié le français à l'université. Dans une autre interview, Wentworth précise également : « My father is black and my mother is white. Therefore, I could answer to either which kind of makes me a racial Lone Ranger, at times, caught between two communities. » (« Mon père est noir et ma mère est blanche. Ça fait de moi une sorte de cavalier solitaire des races, coincé entre deux cultures. »). Il a deux sœurs plus jeunes, Gillian et Leigh qui est la benjamine. Gillian fait des études de psychologie et Leigh est en école de droit.