En el siglo XVII, el rey Jaime I comenzó a plantar moreras para la cría de gusanos de seda en el emplazamiento de lo que hoy son los Jardines del Palacio. En esa época ya existía una gran casa en el lugar. En 1698 fue arrendada al hombre que le dio nombre, John Sheffield, duque de Buckingham.
Siguió siendo propiedad de los duques de Buckingham hasta 1762, cuando Jorge III adquirió el lugar como residencia familiar privada para su esposa, la reina Carlota, pero el palacio de St James siguió siendo la sede oficial de la corte. Posteriormente, la casa fue remodelada y modernizada en numerosas ocasiones hasta convertirse en el Palacio de Buckingham que conocemos hoy.
