Запрет индексации некторых страниц через robots.txt

[Wikijournal]

В общем заметил, что после обновления на версию 1.22.13 поисковики начали индексировать и добавлять страница в результаты поиска совсем ненужные страницы, такие как:
index.php/MediaWiki:Aboutpage
[URL='http://www.wikijournal.ru/index.php/MediaWiki:Categorytree-collapse-bullet']index.php/MediaWiki:Categorytree-collapse-bullet[/URL]
[URL='http://www.wikijournal.ru/index.php/MediaWiki:Categorytree-collapse-bullet'][URL='http://www.wikijournal.ru/index.php/MediaWiki:Confirmemail_invalid']index.php/MediaWiki:Confirmemail_invalid[/URL][/URL]
и таких очень много! Вот хотелось бы их исключить посредством robots.txt
Правильно ли я прописал

Disallow: /api.php
Disallow: /?
Disallow: /*?
Disallow: /Special
Disallow: /MediaWiki
Disallow: /MediaWiki_talk

Особенно интересует блокировка страниц начинающихся c "MediaWiki:", правильно ли я прописал в robots.txt? или правильнее будет "Disallow: /index/MediaWiki"
Спасибо за помощь

 

[UksusoFF]

http://www.mediawiki.org/wiki/Manual:Robots.txt ну вот так вроде все описано

 

[Wikijournal]

http://www.mediawiki.org/wiki/Manual:Robots.txt ну вот так вроде все описано

Спасибо ) Стало быть в моём случае нужно:

User-agent: *
Disallow: /index.php/MediaWiki:

Да? )

 

[UksusoFF]

Ну да что-то типа того, можно проверить вот тут: https://webmaster.yandex.ru/sites/

 

[Wikijournal]

Ну да что-то типа того, можно проверить вот тут: https://webmaster.yandex.ru/sites/

Да, я проверил ))), просто чего спрашивал - боюсь, чтобы на статьи правило не распространялись ))), они тоже у меня все начинаются с /index.php/Название_статьи )

 

[UksusoFF]

ну их можно там же и проверить

 

[Wikijournal]

ну их можно там же и проверить

э-э-э а там же, это где? там вижу только проверить robots.txt и всё такое ))) а где отдельно страницу проверить - не вижу )

 

[UksusoFF]

Анализ robots.txt → Список URL → добавить → Проверить

 

[Wikijournal]

Анализ robots.txt → Список URL → добавить → Проверить

Хех ))) столько там лазил а эту фичу не видел ))) спасибо ))) тему можно закрывать )

 

[aka_sektor]

Вот хотелось бы их исключить посредством robots.txt
Правильно ли я прописал

Тоже задался этим вопросом.
В итоге, если используется короткий url, работает такой код директивы запрета пространств имен:

Disallow: /MediaWiki:*

Обнаружил примеры тут: https://www.bonusbits.com/wiki/Reference:Mediawiki_Robots.txt_Example

 

[Wikijournal]

Привет всем! Помогите разобраться в составлении robots.txt
В общем закрыл от индекса все страницы по адресу:
Disallow: /w-wiki/index.php?*
но так получилось что генерируется файл карты сайта в директории /w-wiki/sitemap-ru.xml
далее пишу: Allow: /w-wiki/sitemap-ru.xml
Но гугл жалуется: Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
что у меня не так?

 

[UksusoFF]

Скорее всего он жалуется на

Disallow: /wiki/*?

По моему под это правило попадает почти все что есть в сайтмапе

 

[aka_sektor]

Disallow: /w-wiki/index.php?*

У тебя короткого URL нету что ли?

В LocalSettings.php указано:

$wgArticlePath = '/w-wiki/$1';

?

Тогда именно что, ты этим закрыл от индексации всю вики.

 

[UksusoFF]

У тебя короткого URL нету что ли?

Даже если он есть, то страницы редактирования и еще некоторые один фиг доступны через index.php

Тогда именно что, ты этим закрыл от индексации всю вики.

Таки нет.

 

[Wikijournal]

У тебя короткого URL нету что ли?

В LocalSettings.php указано:

$wgArticlePath = '/w-wiki/$1';

?

Тогда именно что, ты этим закрыл от индексации всю вики.

Я разобрался таки ... надеюсь )
В общем все страницы редактирования они идут по ссылке: /w-wiki/index.php?title=...
Статьи, да, имеют короткие URL /wiki/Article_name

Скорее всего он жалуется на

Disallow: /wiki/*?

По моему под это правило попадает почти все что есть в сайтмапе

UksusoFF прав скорее всего, убрал из robots - ранее у меня было немного другое распределение и поэтому так вышло - в общем всё поправил ... посмотрим как гугл теперь отнесётся

Всем спасибо!http://mediawiki.ru/forum/members/uksusoff.71/