Яндекс уже давно ввел директиву clean-param, которая нужна для избежания дублей с GET-параметрами. Эта проблема часто возникает на форумах, когда добавляются параметры сортировки, id сессии и другой мусор, который мешает нормальному индексированию. Вот кусок robots.txt из одного моего форума.
Читать далее