Яндекс уже давно ввел директиву clean-param, которая нужна для избежания дублей с GET-параметрами. Эта проблема часто возникает на форумах, когда добавляются параметры сортировки, id сессии и другой мусор, который мешает нормальному индексированию. Вот кусок robots.txt из одного моего форума.
User-agent: Yandex
Disallow:
Clean-param: sid /forum/viewforum.php
Clean-param: sid&p&sk&st&sd /forum/viewtopic.php
Disallow: /forum/memberlist.php
Disallow: /forum/faq.php
Disallow: /forum/ucp.php
Disallow: /forum/posting.php
Disallow: /forum/search.php
User-agent: *
Disallow: /forum/memberlist.php
Disallow: /forum/faq.php
Disallow: /forum/ucp.php
Disallow: /forum/posting.php
Disallow: /forum/search.php
