Le récit est confié à Sainclair, avocat et ami de Rouletabille, qui raconte l'enquête après coup. L'affaire se passe au château du Glandier : Mathilde Stangerson, fille d'un savant, est trouvée grièvement blessée dans un pavillon dont la chambre était close. Deux méthodes s'opposent : celle de Larsan, policier réputé, qui s'appuie sur les indices matériels, et celle de Rouletabille, qui veut raisonner « avec le bon bout de la raison ». Le roman respecte les règles de l'énigme : plan des lieux, interrogatoires, fausses pistes, puis un dénouement en deux temps. Leroux joue sur les points de vue pour tenir le lecteur à distance de la solution tout en lui fournissant les éléments pour la trouver.
Le roman connaît un grand succès dès sa parution en feuilleton puis en volume, et s'impose comme l'un des modèles du roman à énigme à chambre close. Des écrivains du genre l'ont ensuite salué : Agatha Christie le fait citer par Hercule Poirot dans Les Pendules, et John Dickson Carr, spécialiste de la chambre close, lui rend hommage dans Les Trois Cercueils. Jean Cocteau en donne une préface enthousiaste, et les surréalistes y ont vu une source de poésie. Le cinéma s'en empare dès 1913 ; d'autres adaptations suivent en 1919, 1930, 1949 et 2003, ainsi qu'à la télévision, à la radio et en bande dessinée.
Le Mystère de la chambre jaune reste le texte de référence du problème de la chambre close. Il montre comment un récit populaire peut allier rigueur logique et goût du spectacle, et il a fait de Rouletabille l'un des premiers grands enquêteurs de la littérature française. On le lit aujourd'hui pour son intrigue, qui résiste à l'usure, et pour la manière dont il invite le lecteur à enquêter avec son héros. Il se lit aussi comme un jalon dans la naissance du roman policier à la française, entre Poe, Gaboriau et les grands détectives du XXe siècle.