Le roman suit un seul personnage principal, Niki Jumpei, et une femme qui n'est pas nommée, dans un espace quasi unique : une maison au fond d'une fosse de sable, dans un village menacé d'ensevelissement. Les villageois tiennent leurs prisonniers en les privant de moyen de sortir ; la femme, elle, passe ses journées à pelleter le sable, sans quoi la maison serait engloutie. Le récit suit la révolte d'abord, puis l'adaptation progressive du héros, ses tentatives d'évasion, ses calculs, ses pensées d'entomologiste. La narration à la troisième personne, serrée sur lui, conserve un ton sec et précis : le sable est décrit comme une matière active, presque comme un personnage.
Le roman est salué dès 1962 par le prix Yomiuri et fait d'Abe un écrivain de renommée internationale : il est traduit en plusieurs langues ; publié en français chez Stock, il reçoit en France le prix du meilleur livre étranger. Le film de Hiroshi Teshigahara (1964) en a prolongé la diffusion : couronné à Cannes par le prix spécial du jury, il a été très remarqué en Occident. Le roman a souvent été lu comme une allégorie de la condition moderne — travail répétitif, enfermement volontaire —.
La Femme des sables reste une référence parmi les récits d'enfermement et d'adaptation : le village, la fosse et la routine du pelletage ne renvoient à aucune société précise, ce qui permet de les lire de bien des façons. Le livre est régulièrement cité parmi les grands romans japonais du XXe siècle et a imposé Abe hors du Japon. Sa force tient à l'équilibre entre le concret et la métaphore : le lecteur sent le sable avant d'y voir un symbole.