El nombre de la Granja proviene de una antigua establecimiento agropecuario que los monjes jerónimos del monasterio segoviano de El Parral tenían aquí entre los siglos XV y XVIII. La formación del pueblo se sitúa en el siglo XVIII, en torno al Palacio Real. Hasta el siglo XIX estuvo reducido a dependencias cortesanas, a las habitaciones de los dependientes del Real Patrimonio y los obreros de la Real Fábrica de Cristal. El poblado, que empezó siendo un grupo de chozas y barracas, creció cuando Fernando VII decidió convertirlo en la residencia veraniega de la alta aristocracia madrileña. Carlos III alineó calles, alisó el suelo y mandó construir edificios como la Casa de Infantes, la Casa de Oficios, Caballerizas, Canónigos y la Real Fábrica de Cristales.

Destacan entre sus monumentos el Palacio Real y sus fuentes, así como la Real Fábrica de cristales que en la actualidad alberga la Fundación Centro Nacional de Vidrio.

Fue residencia de verano de los reyes. Allí se firmaron los Tratados de San Ildefonso de 1786 y de 1800.

Es Real Sitio y su casco histórico-artístico está declarado conjunto Histórico Monumental por Real Decreto 3.943/1.982, de 15-12.