Nació en Nueva York, el 20 de Diciembre de 1865, en el seno de una familia adinerada. Sus padres la enviaron a una escuela en Edimburgo, de la cual salió para ir a la corte de la Reina Victoria. Hasta la edad de 25 años llevó una vida despreocupada, como lo estilaban las chicas solteras y adineradas.  Pero en el año 1890 el padre de Wolfe falleció, y dejó a la familia con muchas deudas provocadas por su compulsión al juego. En lugar del casamiento, optó por hacer una vida independiente, lo primero que hizo fue actuar, aún a pesar que el teatro en ese entonces era considerado un ambiente poco recomendable. En ese ambiente Wolfe era conocida por su ropa llamativa, y solía atraer a la audiencia más por su vestimenta que por su estilo de actuación. Durante ese período Wolfe fue amante y pareja de Elisabeth Marbury, una prominente productora y agente de Broadway. Esta relación era la típica relación butch femme, y fueron objeto de continuos chismorreos y habladurías en la alta sociedad, se decía que habían tenido "orgías sáficas" en la casa de una amiga llamada Anne Morgan, la hija del financista J.P. Morgan. Apoyaron a muchas jóvenes lesbianas e introdujeron a varias entre ellas  Katherine Cornell, Eva Le Gallienne, y Mercedes de Acosta, al ambiente teatral neoyorquino. Ya rondando los cuarenta años Wolfe había logrado cierto éxito como diseñadora teatral, así como ciertos aplausos por la forma como había decorado la casa donde vivía con Marbury, fue entonces que Elsie decidió dejar su carrera en las tablas para dedicarse a un nuevo emprendimiento: decorar interiores para gente rica que conocía por frecuentar los mismos círculos sociales. Fueron estos los primeros pasos que la conducirían a ser considerada la primera decoradora de interiores; y como pequeño detalle se la considera la inventora de esa mezcla de cointreau, gin y jugo de uvas conocido cocktail Pink Lady, convirtiéndose en una leyenda viva de estilo y buen gusto. En sus memorias Elsie escribió "Yo era una niña fea y vivía en una época horrible. Desde el momento en que fui consciente de la fealdad y la relación conmigo y mi alrededor, mi única preocupación era encontrar mi camino para alejarme de todo eso. En mi huída, llegué a comprender el significado de la belleza." Elsie fue descripta como la primera dama del diseño de interiores. No sólo la clase alta se benefició de las ideas de Elsie, sino que tambien sus conceptos llegaron a la clase media norteamericana a través de los diarios y columnas en las revistas, sus escritos fueron reunidos en el año 1913 bajo el nombre La casa del buen gusto.

Wolfe era una gran amante de Francia, y junto a Marbury y Anne Morgan compraron una villa en Versailles donde solían realizar reuniones. Durante la segunda guerra mundial fue como voluntaria y trabajó como enfermera obteniendo posteriormente la cruz de guerra de la Legión de Honor francesa. A la edad de 60 años en un acto que asombró a mucha gente Wolfe se casó con un diplomático inglés llamado Charles Mendl, pero dicha relación fue platónica, en ese entonces se decía que Wolfe se casó con él por su título. Marbury que en un principio se sintió traicionada de todos modos perdonó a Elsie  y ambas mujeres continuaron con su relación que duraría hasta la muerte de Marbury en el año 1933. Regresó a EEUU a comienzos de la segunda guerra mundial, pero regresó más tarde a Francia donde falleció el 12 de Julio de 1950.