Запрет индексации некторых страниц через robots.txt

Wikijournal

Гуру MediaWiki
Регистрация
24.09.2013
Сообщения
618
Реакции
36
В общем заметил, что после обновления на версию 1.22.13 поисковики начали индексировать и добавлять страница в результаты поиска совсем ненужные страницы, такие как:
index.php/MediaWiki:Aboutpage
[URL='http://www.wikijournal.ru/index.php/MediaWiki:Categorytree-collapse-bullet']index.php/MediaWiki:Categorytree-collapse-bullet
[/URL]
[URL='http://www.wikijournal.ru/index.php/MediaWiki:Categorytree-collapse-bullet'][URL='http://www.wikijournal.ru/index.php/MediaWiki:Confirmemail_invalid']index.php/MediaWiki:Confirmemail_invalid[/URL][/URL]
и таких очень много! Вот хотелось бы их исключить посредством robots.txt
Правильно ли я прописал
Код:
Disallow: /api.php
Disallow: /?
Disallow: /*?
Disallow: /Special
Disallow: /MediaWiki
Disallow: /MediaWiki_talk
Особенно интересует блокировка страниц начинающихся c "MediaWiki:", правильно ли я прописал в robots.txt? или правильнее будет "Disallow: /index/MediaWiki"
Спасибо за помощь
 
ну их можно там же и проверить
 
Анализ robots.txt → Список URL → добавить → Проверить
 
Вот хотелось бы их исключить посредством robots.txt
Правильно ли я прописал
Тоже задался этим вопросом.
В итоге, если используется короткий url, работает такой код директивы запрета пространств имен:
Код:
Disallow: /MediaWiki:*

Обнаружил примеры тут: https://www.bonusbits.com/wiki/Reference:Mediawiki_Robots.txt_Example
 
Привет всем! Помогите разобраться в составлении robots.txt
В общем закрыл от индекса все страницы по адресу:
Disallow: /w-wiki/index.php?*
но так получилось что генерируется файл карты сайта в директории /w-wiki/sitemap-ru.xml
далее пишу: Allow: /w-wiki/sitemap-ru.xml
Но гугл жалуется: Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
что у меня не так?
 
Скорее всего он жалуется на
Код:
Disallow: /wiki/*?
По моему под это правило попадает почти все что есть в сайтмапе
 
У тебя короткого URL нету что ли?

В LocalSettings.php указано:
Код:
$wgArticlePath = '/w-wiki/$1';
?

Тогда именно что, ты этим закрыл от индексации всю вики.
Я разобрался таки ... надеюсь )
В общем все страницы редактирования они идут по ссылке: /w-wiki/index.php?title=...
Статьи, да, имеют короткие URL /wiki/Article_name
Скорее всего он жалуется на
Код:
Disallow: /wiki/*?
По моему под это правило попадает почти все что есть в сайтмапе
UksusoFF прав скорее всего, убрал из robots - ранее у меня было немного другое распределение и поэтому так вышло - в общем всё поправил ... посмотрим как гугл теперь отнесётся

Всем спасибо!http://mediawiki.ru/forum/members/uksusoff.71/
 
Назад
Верх