La chanson égrène, par phrases répétées commençant toutes par « avec le temps », les manières dont le temps efface inexorablement les sentiments les plus intenses, l'amour, la douleur, jusqu'au souvenir même de l'être aimé, dans une progression d'une simplicité et d'une gravité désarmantes. Cette construction anaphorique, qui accumule les variations sur un même thème sans jamais céder au pathos facile, donne à la chanson une puissance méditative rare dans le répertoire populaire.
Malgré un accueil initial réticent de sa maison de disques, la chanson devient rapidement un classique absolu, comptant parmi les titres les plus repris du répertoire de Ferré et l'une des chansons françaises les plus universellement connues sur le thème de l'usure amoureuse.
Avec le temps demeure l'une des méditations les plus justes et les plus dépouillées sur l'effacement des sentiments par le temps qui passe, sa simplicité formelle continuant de toucher des générations d'auditeurs bien au-delà de son contexte de création.