Le roman s'inspire de l'enfance de Guilloux à Saint-Brieuc, avant 1914, dans une famille pauvre qui vit dans une ancienne écurie. Le récit se divise en deux grandes parties : la première est consacrée au grand-père et aux relations familiales ; la seconde, à l'arrivée de la cousine Zabelle, qui fait découvrir à l'enfant les complexités du monde des adultes.
La narration adopte le point de vue d'un enfant, mais avec la distance de l'adulte qui se souvient, ce qui donne au texte à la fois sa fraîcheur et sa justesse. Le livre procède par scènes, portraits, anecdotes familiales, sans intrigue forte, et fait une place importante aux rêves du titre : l'imagination de l'enfant contre la dureté du quotidien.
Le Pain des rêves est publié en 1942, en pleine Occupation. Il reçoit un accueil critique favorable et le prix du roman populiste, que Guilloux accepte sans enthousiasme, lui qui refusait cette étiquette.
Le livre a été adapté pour la télévision dans les années 1970, avec des scènes tournées à Saint-Brieuc, dans l'école Baratoux et dans les rues de la vieille ville, notamment la rue Fardel. Des extraits en avaient paru dans la Nouvelle Revue française en février et juillet 1942, ainsi que dans Comoedia. Le livre est souvent cité parmi les plus accessibles de Guilloux.
Le livre compte parce qu'il donne une voix à l'enfance pauvre sans misérabilisme : la misère est là, mais aussi le comique, les rêveries, les petites fiertés. On y trouve l'un des plus beaux portraits d'une famille populaire de la littérature française, sans discours politique. Il permet de comprendre ce que Guilloux a puisé dans sa propre histoire, et c'est la meilleure introduction à son œuvre, moins âpre que Le Sang noir.