Kralj Charles III. nije imao sretno djetinjstvo, a zna se i tko je bio kriv za to – primarno njegov otac princ Philip.
Naime, zna se kako je kraljica Elizabeta II. oduvijek imala više volje za baviti se državnim poslovima nego obitelji, pa je svog prvorođenog sina zapostavljala i prepuštala ga na skrb dadiljama. No, iako mu nije pridavala pažnju, puno gori odnos prema malenom Charlesu imao je njegov otac princ Philip.
Podsjetimo se, Philip je imao teško djetinjstvo. Njegova je obitelj protjerana iz Grčke, izgubio je bogatstvo i titule, a onda i dio članova obitelji. Na kraju je završio u egzilu u Danskoj i potom Engleskoj, a gdje je upoznao buduću kraljicu Elizabetu II. Bio je znan kao strogi vojnik posvećen mornarici te je vjerovao kako je strog odgoj ključan za odgoj pravih muškaraca – pa je Charlesa natjerao u internat u nježnoj dječjoj dobi.
No, nije uzeo u obzir narav svog sina. Naime, Charles je oduvijek bio krhko dijete, zaljubljeno u glumu i umjetnost. Volio je toplinu doma i svoju baku Kraljicu Majku koja ga je najviše voljela.
Njegov je otac pak smatrao da je za njegov razvoj najbolje da napusti vrtove Buckinghamske palače i pet godina provede u internatu na sjeveru Škotske, Gordonstounu, a koji je i on sam pohađao kao dječak. Ispostavilo se da će tih pet godina u toj vojnoj školi za dječake biti najgorih pet godina u životu mladog Charlesa.
Kada je tamo stigao, naišao je na omalovažavanje i zlostavljanje svojih vršnjaka. Nije imao nikakav poseban tretman na račun toga što je princ, a čak su i njegovi profesori bili okrutni prema njemu. Često su ga tukli, a on je nebrojeno puta molio svoju majku Elizabetu da mu dopusti vratiti se kući. Iako je kraljica u jednom trenutku odlučila popustiti sinu i vratiti ga u okrilje doma, jer je vidjela koliko Gordonstoun loše utječe na njegovu psihu, princ Philip se usprotivio.
Tako je skoro došlo do razvoda kraljice i Philipa jer je Philip rekao Elizabeti da će se razvesti od nje ako mu ne dozvoli od Charlesa stvoriti muškarca na način na koji on smatra prikladnim. Tako se Charles ipak morao podvrgnuti očevoj volji i ostati u Škotskoj. Nakon 5 godina, rekao je kako je cijelo iskustvo bilo pakleno.
Zna se i da je taj period obilježio Charlesa sve do danas. Nikada nije uspio oprostiti svom ocu, a njihov je odnos bio do kraja hladan. Također je zamjerio i Elizabeti što je dopustila da mu se dogodi takva trauma. Kasnije je i sam ponovio greške u odgoju svojih sinova, jer je i sam bio hladan i rezerviran, a očito je prenio taj odgojni obrazac iz svog djetinjstva na Harryjevo i Williamovo.