Uma lenda conta que era costume ver-se rolar umas pedritas pequenas e brilhantes, que se veio a descobrir serem de ouro. Há quem diga ainda que o nome se deve à cor barrenta das águas do rio, consequência das grandes quantidades de detritos que as enxurradas arrastavam encostas abaixo e que por serem de um amarelo vivo lhe davam uma cor de ouro. Mas há ainda quem defenda que este nome deriva do latim «Durius», ou seja, «Duro», devido à dureza dos seus contornos tortuosos de escarpas altas e rochosas.