Le poème adopte la forme d'un dialogue entre des citoyens d'une cité antique indéterminée, rassemblés sur la place publique dans l'attente fébrile de l'arrivée imminente des barbares, l'empereur et le sénat ayant même suspendu leurs activités habituelles pour cette occasion. Le retournement final, l'annonce que les barbares ne viendront finalement pas, laisse la cité désemparée plutôt que soulagée, car ces gens, selon la formule finale du poème, « étaient une espèce de solution » à l'absence de sens de leur propre existence collective.
Le poème devient l'un des textes les plus célèbres et les plus commentés de Cavafy, sa méditation intemporelle sur la construction politique de l'altérité et de la menace extérieure continuant d'être convoquée dans des contextes politiques très variés à travers le monde.
En attendant les barbares demeure une référence incontournable pour penser la construction politique de la peur de l'autre, sa lucidité ironique sur le besoin collectif d'un ennemi n'ayant rien perdu de sa pertinence plus d'un siècle après sa composition.