Le livre se présente comme un journal tenu à la première personne, divisé en courts chapitres, qui évoque la vie quotidienne du narrateur à terre : installation dans une maison japonaise, visites, promenades, achats, fêtes, rapports avec Chrysanthème, sa famille et les intermédiaires du « mariage ». Le narrateur, qui s'appelle lui-même Loti, prend son parti de l'union comme d'une curiosité amusante : le récit est dominé par l'ironie, les descriptions de décors, de costumes et de rites, et l'attente du départ. L'intrigue sentimentale est mince ; le sujet, c'est le regard d'un Européen sur un pays qu'il croit comprendre.
Le livre est un grand succès et fait entrer le Japon dans l'imaginaire littéraire du public français, au moment où le goût pour l'art japonais gagne les salons et les ateliers. Il a nourri la vogue du japonisme. Il est adapté en opéra par André Messager en 1893 ; Madama Butterfly de Puccini (1904) en est en partie inspirée, sans en être une adaptation fidèle. Le compositeur Alan Rawsthorne en tire un ballet en 1944.
Madame Chrysanthème reste un document sur la manière dont l'Occident a regardé le Japon à la fin du XIXe siècle, et sur les ressorts de l'orientalisme sentimental : désir, supériorité supposée, ironie défensive. On peut le lire pour la qualité des paysages et des scènes, pour la sincérité de certains passages, ou comme un texte à interroger à la lumière de la critique postcoloniale. Il occupe une place centrale dans l'histoire du japonisme littéraire en France.