Robost.txt для Punbb

Зачем исключать форум из поисковика? Верно понимаю?

Робот не проиндексирует профили и поиск, т.к. оно в мускуле лежит Да и вообще, нормальный робот индексирует только то, на что есть ссылки.

И? Твой robots.txt никак не поможет, если ты хочешь, чтобы не индексировалось то, что может быть отображено при просмотре профиля, то нужно делать такой disallow:

Disallow: profile.php, search.php, userlist.php

дальше продолжишь

с чегой-то?

maximum ??? Как раз запрещает - робот не попадет в разделы, где можно получить инфу, которую не хочется публиковать. Роботы не сканируют каталоги и т.п. - они ходят по ссылкам.

Т.е., по-твоему, robots.txt следующего содержания ничего не запретит?

User-Agent: *
Disallow: profile.php
Disallow: search.php
Disallow: userlist.php

Извиняюсь, конечно, но советую тогда почитать факи и RFC тебе самому.

maximum, я и раньше знал, просто перечислил что надо закрывать - не до синтаксиса было.

Написал такой robots.txt

User-agent: *
Disallow: /cache/
Disallow: /calendar/
Disallow: /img/
Disallow: /include/
Disallow: /lang/
Disallow: /plugins/
Disallow: /style/
Disallow: /admin_bans.php
Disallow: /admin_categories.php
Disallow: /admin_censoring.php
Disallow: /admin_forums.php
Disallow: /admin_groups.php
Disallow: /admin_index.php
Disallow: /admin_loader.php
Disallow: /admin_maintenance.php
Disallow: /admin_options.php
Disallow: /admin_permissions.php
Disallow: /admin_prune.php
Disallow: /admin_ranks.php
Disallow: /admin_reports.php    
Disallow: /admin_users.php
Disallow: /delete.php
Disallow: /login.php
Disallow: /message_delete.php
Disallow: /message_send.php
Disallow: /moderate.php
Disallow: /moderatepoll.php
Disallow: /movepost.php
Disallow: /register.php
Disallow: /search.php
Disallow: /edit.php

Вопрос, а где проверить работу можно? Нашел ссылку на сервис, а он приказал долго жить.

Конечно, проиндексировать они не смогут, т. к. доступа у них нет, но вот бессмысленное обращение к admin_index.php вполне возможно.

А вот мой:

User-agent: Yandex
Disallow: /p
Disallow: /r
Disallow: /s
Disallow: /u
Host: wpforum.ru

User-agent: *
Disallow: /p
Disallow: /r
Disallow: /s
Disallow: /u

А я, как посмотрю, вы всё жжёте и жжёте.

Да та же история что и с /s (search.php) - чтобы было.

Директива host страхует 301 редирект, а robots - мету, которая присутствует в register, login, search, post и др.

Пускай уж бот хавает robots, а не каждую страницу с целью поиска условий.

Это касается только директивы host, чтобы другие боты не грузились не понятными для них вещами.