DMOZКак можно увидеть из результатов запроса в
поисковой строке Яндекса выражения
«rhost=»org.dmoz.*»|rhost=»org.dmoz.www.*»», из индекса Яндекс
исчез крупнейший каталог сайтов в Интернете — DMOZ. Русскоязычный
раздел Открытого Каталога является одним из крупнейших каталогов
сайтов в Рунете. При попытке добавить проект заново в индекс
через форму «Добавить URL» выдаётся ошибка «Добавленный вами сайт
не индексируется, так как является «зеркалом» http://dmoz.org/».
Т. е., как видно, Яндекс неверно определил основное зеркало сайта
(с www.dmoz.org на dmoz.org уже несколько месяцев стоит 301-й
редирект). В Яндекс.Каталоге URL проекта также ошибочно прописан
(dmoz.org вместо канонического www.dmoz.org). На соответствующий
запрос в службу поддержки Яндекс.Ру был получен следующий ответ:
[quote]Дело в том, что Ваш сайт может индексироваться Яндексом
только по адресу dmoz.org, адрес www.dmoz.org является его
зеркалом. В данный момент у Вас установлен серверный редирект с
dmoz.org на www.dmoz.org:$ telnet dmoz.org 80 HEAD / HTTP/1.0
Host: dmoz.org Accept-Charset: windows-1251 User-Agent:
Yandex/2.01.000 (compatible; Win16; Dyatel; C)HTTP/1.0 301 Moved
Permanently MIME-Version: 1.0 Server: ArtBlast/3.5.5 Date: Mon,
17 Dec 2007 10:24:24 GMT Expires: Mon, 17 Dec 2007 10:54:24 GMT
Content-length: 86 Content-type: text/html Location:
http://www.dmoz.org/ Connection: close Страницы, с которых стоит
серверный редирект, удаляются роботом из базы. Чтобы вернуть сайт
в базу Яндекса, необходимо снять редирект, тогда сайт вновь
начнет индексироваться по адресу dmoz.org. Если для Вас важно,
чтобы сайт индексировался именно по адресу www.dmoz.org , есть
два пути: 1. оставить все как есть, но скорректировать
robots.txt, добавив в него: User-agent: Yandex Disallow: Host:
www.dmoz.org Важно: блоки указаний роботам должны разделяться
пустой строкой. После этого надо будет дождаться захода на сайт
робота зеркальщика, он отследит изменения и переклеит сайты по
адресу, указанному в Host. Процесс переклейки в среднем занимает
до 4-6 недель, ускорить его, к сожалению, нельзя. В этом случае
сайт появится в базе Яндекса только после того, как произойдет
«переклейка». 2. снять редирект, скорректировать robots.txt так,
как указано выше. В этом случае сайт вернется в базу Яндекса по
адресу dmoz.org, после переклейки в базе появится www.dmoz.org. —
С уважением, Платон Щукин Служба поддержки Яндекс.Ру [/quote]