La plaza de la Paja recibe su nombre de la costumbre que había allá por el siglo XV y siguientes de vender la paja que se daba al capellán y cabildo de la capilla del Obispo para mantenimiento de la mula que los citados capellanes utilizaban para pasear.

Sin embargo, su verdadera importancia es anterior a estas fechas pues en el siglo XIII era el lugar de mercado y centro de la villa, hasta que Juan II mandó construir la Plaza del Arrabal, que luego se transformó en la Plaza Mayor.

La plaza de la Paja esta coronada, actualmente, por la Capilla del Obispo que fue ideada para albergar el cuerpo de San Isidro aunque al final no se utilizó para tal fin.

En los alrededores de esta plaza existían numerosos palacios ( Palacio de los Lasso de Castilla, Palacio de los marqueses de la Romana...) que con el tiempo fueron siendo abandonados. Durante el siglo XIX se sustituyeron por edificios de viviendas para las clases populares con la finalidad de obtener rentas, forma de inversión de las clases mas acomodadas.

Por su espaciosidad y por el conjunto de edificios religiosos que le sirven de fondo, la entrada a la capilla del Obispo y la Parroquia de San Andrés con su capilla de San Isidro,- era el centro de la vida del barrio.

El antiguo e ilustre Colegio de San Ildefonso, cuyos niños cantan todos los años los premios de la popular Lotería de Navidad, confluye con La Plaza de la Paja a través de su esquina con la calle Redondilla. Las instalaciones de este ilustre colegio han sido trasladadas recientemente por necesidades pedagógicas.

Hoy en día sólo queda el antiguo palacio de los Vargas cuya fachada mantiene un marcado carácter historicista como prolongación la Capilla del Obispo, siendo además, uno de los lugares más apacibles de Madrid. Su amplitud y su ambiente sosegado incitan a la lectura o a la conversación.