Highgrove cache un autre secret : on dit qu'il y a une petite chapelle privée sur le terrain que le roi utilise pour des moments de silence. Selon le biographe royal Robert Hardman, Charles s'y retire régulièrement pour se ressourcer - même après la mort de sa mère, la Reine Elizabeth II.
Alors que Charles possède Highgrove depuis 1980, la Reine Camilla a sa propre résidence à la campagne, Ray Mill House, à proximité. La propriété lui sert encore aujourd'hui de retraite privée et souligne l'importance particulière que les refuges ruraux ont pour le couple royal.