Baudelaire doit beaucoup à Hugo, même s’il s’en défend ; la filiation est claire entre les deux poètes et pourtant Baudelaire – tout en se répandant en louanges dans sa correspondance au maître et dans ses critiques : « On me dit que vous habitez une demeure haute, poétique et qui ressemble à votre esprit, et que vous vous sentez heureux dans le fracas du vent et de la pluie » – déverse son fiel en privé : « On peut en même temps posséder un génie spécial et être un sot. Victor Hugo nous l’a bien prouvé. » (cité par S.Grossiord, Victor Hugo « Et s’il n’en reste qu’un… », Paris, Gallimard, coll. Découvertes, 1998)
La Chanson des rues et des bois lui inspire le commentaire suivant dans une lettre à sa mère : « C’est horriblement lourd. Je ne vois dans ces choses-là qu’une nouvelle occasion de remercier Dieu qui ne m’a pas donné tant de bêtise. » (Cité par S.Leys, Protée et autres essais, Gallimard, 2002, p. 49)

Réfugié à Bruxelles lui aussi, Baudelaire enrage de ses relations difficiles avec les éditeurs Lacroix, Verboeckhoven & Cie ; il espère obtenir l’aide de madame Hugo aux dîners de laquelle il participe régulièrement, il fait sa cour en lui parlant de « l’oncle Beuve » puis écrit à sa mère : « Victor Hugo qui a résidé pendant quelque temps à Bruxelles, et qui veut que j’aille passer quelque temps dans son île, m’a bien ennuyé, bien fatigué. Je n’accepterais ni sa gloire, ni sa fortune, s’il me fallait en même temps posséder ses énormes ridicules. Madame Hugo est à moitié idiote, et ses deux fils sont de grands sots. »

De manière générale, les littérateurs de la seconde moitié du XIXe siècle et XXe siècle, sont fort critiques à l’égard d’Hugo. La parution des Misérables focalise d’ailleurs ce rejet :  « Le dessein du livre de M. Hugo, c’est de faire sauter toutes les institutions sociales […] avec des larmes et de la pitié […] Les Misérables ne sont pas un beau livre, et, de plus, c’est une mauvaise action. » (Barbey d’Aurevilly), « Il n’est pas permis de peindre si faussement la société, quand on est le contemporain de Balzac et de Dickens. C’était un beau sujet pourtant. Mais quel drame il aurait fallu et quelle envergure scientifique ! il est vrai que le père Hugo méprise la science. Et il le prouve. » (Flaubert)

  (citations dans S.Grossiord, Victor Hugo « Et s’il n’en reste qu’un… », Paris, Gallimard, coll. Découvertes, 1998)

Rimbaud, indulgent, écrit à seize ans :

Les premiers romantiques ont été voyants sans trop bien s’en rendre compte : la culture de leurs âmes s’est commencée aux accidents : locomotives abandonnées, mais brûlantes, que prennent quelque temps les rails. – Lamartine est quelquefois voyant mais étranglé par la forme vieille. – Hugo, trop cabochard, a bien VU dans les derniers volumes : Les Misérables sont un vrai poème. J’ai Les Châtiments sous la main… »

(Cité par  M.Van Nieuwenborg, À Bruxelles, Guide pratique et littéraire des itinéraires poétiques bruxellois, p.43)

Verlaine, qui a rendu visite à Hugo à Bruxelles et a reçu de lui, dans sa prison, des lettres qui lui ont valu une certaine considération des gardiens, est plus sévère :

Voici donc ce que dit Verlaine : « Les Orientales me plurent à quinze ans (j'y voyais des odalisques), et me plaisent encore, comme beau travail de bimbeloterie « artistique », comme article de Paris pour la rue de Rivoli... » La partie de l'œuvre de Victor Hugo qui lui semble la meilleure et la plus durable, c'est celle où le poète, jeune et amoureux, montre le plus de simplicité, où il semble avouer de sincères émois, et en particulier, les Rayons et les Ombres, malgré la puérilité de l'antithèse. Il a gardé une tendresse pour ces poèmes de demi-teinte, de « nuances », avec leur musique discrète, comme en sourdine. Quant aux œuvres de déclamation poétique, aux Contemplations, par exemple, il avoue qu'après y avoir pendant longtemps rien compris du tout, il est arrivé à les comprendre trop. Ce qu'il admire peut-être le plus, ce sont les romans et surtout les drames ; mais il prétend que Victor Hugo n'a presque jamais pu créer, sauf peut-être Esméralda et Éponine, une figure de femme vraiment vivante. Ici, il est particulièrement dur : « Quelles petites horreurs fadasses et bébêtes que toutes ces jeunes filles ! » Et il cite surtout la « stupide » Déa, de Torquemada, l'« ennuyeuse » Deruchette et l'« insupportable » Cosette, des Misérables.

(Remy de Gourmont, "Verlaine et Victor Hugo", Promenades littéraires, Mercure de France, 1904)

Au XXe siècle, outre le « Victor Hugo hélas » de Gide, on retiendra surtout les critiques de Paul Valéry :

Paradoxes : Hugo a été et reste un auteur capital pour le public alors que, tant de son vivant qu’au siècle suivant, poètes et critiques n’ont pas été convaincus par son talent et son œuvre ; Victor Hugo espérait se survivre par la poésie et c’est le roman que nos contemporains retiennent de son œuvre. 

Laissons le dernier mot à Mallarmé :