Son uvre la plus controversée, Madame X (Madame Pierre Gautreau), réalisée en 1884, est aujourd'hui considérée comme son meilleur portrait et elle était la préférée de Sargent. (Il écrira en 1915 : "Je crois que c'est la meilleure chose que j'ai faite")
Cependant, lorsqu'il est présenté à Paris au Salon des Beaux-Arts de 1884, le tableau déclenche une réaction si négative que Sargent part s'installer à Londres. Une fois encore, l'assurance de Sargent l'avait conduit à risquer une nouvelle expérience qui tourna mal. Alors qu'il était normalement toujours sollicité pour ses portraits, Madame Gautreau n'avait pas commandé le tableau et il l'avait poursuivie pour obtenir qu'elle pose. Sargent écrit à l'une de leurs connaissances communes : "J'ai grand désir de peindre son portrait et j'ai raison de croire qu'elle le permettra et s'attend à ce que quelqu'un propose un tel hommage à sa beauté. Vous pouvez lui dire que je suis l'homme d'un prodigieux talent"»
Il lui faut toute une année pour achever le
portrait. La première version du portrait de Madame Gautreau,
avec son fameux décolleté, sa peau si blanche et son port
de tête altier sur une bretelle tombée de son épaule
donne un effet global encore plus audacieux et sensuel. Sargent remet
en place la bretelle pour tenter d'apaiser le scandale, mais le mal
est fait. Les commandes françaises se tarissent et il admet lui-même
à son ami Edmund Gosse en 1885 qu'il envisage d'abandonner la
peinture pour la musique ou les affaires.
À propos de la réaction du public, Judith Gautier écrit
: "Est-ce une femme ? Une chimère, la licorne héraldique
cabrée à l'angle de l'écu ? Ou bien l'uvre
de quelque ornemaniste oriental à qui la forme humaine est interdite
et qui voulant rappeler la femme, a tracé cette délicieuse
arabesque ? Non, ce n'est rien de tout cela (
) Si ce sein bleu,
ces bras serpentins ce teint où l'héliotrope est pétri
avec la rose, ce profil effilé, cette lèvre pourpre, ces
yeux demi-clos, veloutés d'ombre ont en effet quelque chose de
chimériques, cela tient uniquement à la chimérique
beauté que la toile évoque
"
Sargent exposera fièrement ce tableau dans son
atelier de Londres jusqu'à ce qu'il la vende au Metropolitan
Museum of Art de New York, en 1916, quelques mois après la mort
de Madame Gautreau.