Может давайте подробней эту тему обсудим? Вот от меня:
User-agent: *
Disallow: /style/
Disallow: /search
Disallow: /register
Disallow: /login
Disallow: /extensions - есть плагины с файлами на которые отдаются ссылки
Disallow: /userlist - отдается в head, зачем? может его убрать оттуда?
Disallow: /cache/ ???
extern - rss, atom - гостю отдается в head, пусть индексируется?
profile, , help - вроде гостю не доступен
misc - гостю отдается только правило, но я не против чтобы они закешировались поисковиками
admin, include, lang, config, delete, edit, и т.д. - гостю не отдаются
img - пусть берут, и там правило отдавать только картинки
Что еще пропустил, уточните.
Добавлено спустя 7 минут 50 секунд:
Хотя большенство идет <meta name="ROBOTS" content="NOINDEX, FOLLOW" />
/search
/register
/login
/misc.php?action=rules
Даже ссылки вида /viewtopic.php?pid=NUM#pNUM
А остальное гостю не видно