Un informe de Icomos, el organismo que asesora a la organización internacional, señala que la polución es el principal factor que afecta al bien, así como la afluencia excesiva en el Retiro y el Paseo del Prado. Además, recomienda retirar el parque del conjunto.