Le roman prolonge l'enquête commencée au Glandier : les personnages du premier livre, parmi lesquels Mathilde Stangerson et Robert Darzac, se retrouvent dans un fort au bord de la mer, qui sert de cadre clos à un nouveau mystère. Comme dans le premier volume, Leroux alterne scènes d'action, interrogatoires et raisonnements, et laisse planer la menace d'un passé qui revient. Le récit éclaire rétrospectivement l'affaire de la chambre jaune, ce qui lui donne une place à part dans la série : il n'est pas une enquête isolée mais le second volet d'une même histoire. Il est donc plus agréable à lire après le premier, dont il suppose la connaissance.
Le livre confirme le succès du personnage auprès du public. Il a donné lieu à plusieurs adaptations : trois versions françaises au cinéma (Maurice Tourneur en 1914, Marcel L'Herbier en 1931, Louis Daquin en 1949), une version italienne de Francesco Barilli en 1974, une série télévisée française en dix épisodes en 1966 réalisée par Yves Boisset et François Caillaud, puis le film de Bruno Podalydès en 2005. Cette longue série d'adaptations en montre la vitalité.
Le Parfum de la dame en noir donne à Rouletabille la dimension d'un personnage de série, avec un passé, des attaches et une histoire qui se poursuit d'un livre à l'autre. Il montre aussi que Leroux ne cherchait pas seulement la bonne énigme : il construisait un univers romanesque, où les dénouements d'un roman éclairent le précédent. Pour qui a aimé la chambre jaune, il en est la suite attendue, avec un cadre différent.