Le site de pêche Déry, classé site historique par le gouvernement du Québec en 1984, est d’une dimension d’environ 245 000 mètres carrés. Il comprend l’ancienne maison du péager, un pont, un tronçon d’un ancien chemin, des gorges et une portion de la rivière Jacques-Cartier dans laquelle on retrouve quatre fosses à saumon. Un site archéologique inscrit à l’Inventaire des sites archéologiques du Québec est également associé au lieu.
Dès la fin du XVIIIe siècle, ce lieu fut un point important du réseau des communications terrestres entre Québec et Montréal. Il a d’ailleurs abrité un des premiers ponts à péage (1804) du Québec. Le pont surplombant la gorge Déry est le dernier d’une série de ponts érigés sur le site. Réputé pour ses fosses à saumon, le lieu est également associé à l’histoire de la pêche au saumon sur la Jacques-Cartier. Il doit son nom à la famille Déry qui l’a habité pendant 120 ans (1816-1936).
Construite en 1804 et agrandie vers 1864, la maison Déry, qui compte parmi les plus anciennes résidences de Pont-Rouge, est représentative de la maison rurale du début du XIXe siècle.