Разное → DMOZ удалён из индекса Яндекс
Как можно увидеть из результатов запроса в поисковой строке Яндекса выражения «rhost=”org.dmoz.*”|rhost=”org.dmoz.www.*”», из индекса Яндекс исчез крупнейший каталог сайтов в Интернете — DMOZ. Русскоязычный раздел Открытого Каталога является одним из крупнейших каталогов сайтов в Рунете. При попытке добавить проект заново в индекс через форму “Добавить URL” выдаётся ошибка «Добавленный вами сайт не индексируется, так как является «зеркалом» http://dmoz.org/». Т. е., как видно, Яндекс неверно определил основное зеркало сайта (с www.dmoz.org на dmoz.org уже несколько месяцев стоит 301-й редирект). В Яндекс.Каталоге URL проекта также ошибочно прописан (dmoz.org вместо канонического www.dmoz.org).
На соответствующий запрос в службу поддержки Яндекс.Ру был получен следующий ответ:
Дело в том, что Ваш сайт может индексироваться Яндексом только по адресу dmoz.org, адрес www.dmoz.org является его зеркалом. В данный момент у Вас установлен серверный редирект с dmoz.org на www.dmoz.org:$ telnet dmoz.org 80
HEAD / HTTP/1.0
Host: dmoz.org
Accept-Charset: windows-1251
User-Agent: Yandex/2.01.000 (compatible; Win16; Dyatel; C)HTTP/1.0 301 Moved Permanently
MIME-Version: 1.0
Server: ArtBlast/3.5.5
Date: Mon, 17 Dec 2007 10:24:24 GMT
Expires: Mon, 17 Dec 2007 10:54:24 GMT
Content-length: 86
Content-type: text/html
Location: http://www.dmoz.org/
Connection: close
HEAD / HTTP/1.0
Host: dmoz.org
Accept-Charset: windows-1251
User-Agent: Yandex/2.01.000 (compatible; Win16; Dyatel; C)HTTP/1.0 301 Moved Permanently
MIME-Version: 1.0
Server: ArtBlast/3.5.5
Date: Mon, 17 Dec 2007 10:24:24 GMT
Expires: Mon, 17 Dec 2007 10:54:24 GMT
Content-length: 86
Content-type: text/html
Location: http://www.dmoz.org/
Connection: close
Страницы, с которых стоит серверный редирект, удаляются роботом из базы. Чтобы вернуть сайт в базу Яндекса, необходимо снять редирект, тогда сайт вновь начнет индексироваться по адресу dmoz.org. Если для Вас важно, чтобы сайт индексировался именно по адресу www.dmoz.org , есть два пути:
1. оставить все как есть, но скорректировать robots.txt, добавив в него:
User-agent: Yandex
Disallow:
Host: www.dmoz.org
Важно: блоки указаний роботам должны разделяться пустой строкой. После этого надо будет дождаться захода на сайт робота зеркальщика, он отследит изменения и переклеит сайты по адресу, указанному в Host. Процесс переклейки в среднем занимает до 4–6 недель, ускорить его, к сожалению, нельзя. В этом случае сайт появится в базе Яндекса только после того, как произойдет «переклейка».
2. снять редирект, скорректировать robots.txt так, как указано выше. В этом случае сайт вернется в базу Яндекса по адресу dmoz.org, после переклейки в базе появится www.dmoz.org.
–
С уважением, Платон Щукин
Служба поддержки Яндекс.Ру
13:14 18 дек 2007 | Автор:WaFire |
- Блог пользователя WaFire
- Войдите или зарегистрируйтесь, чтобы получить возможность отправлять комментарии
В общем-то правильно поступил Яндекс. Давно уже пора избавляться от такого атавизма как префикс "www."
ну не совсем тут есть свои заморочки. Особенно с каноническими именами. Например если регистратором является не сам держатель домена, то что б развернуть на домене первого уровня каноническое имя его нужно вписывать в обслуживающие сервера, а не провайдеру, что на практике практически не реально. Поэтому задачу решают так, на сам домен вешают редирект на www, а в www указывают каноничесское имя. Тут вобщем подводный каменть такой. И я считаю позицию Яндекса неправильной. Вот какя ему разница что индексировать, когда ему говорят что правильнее будет? Я не вижу, а то что Яндекс упрямится как баран, так это не знаю, не к лучшему. Хотя в последнее время Яндекс стал гибче, стал сотрудничать с другими компаниями, это я по-поводу картинок. Так что вот так.
У меня ровно два вопроса:
1. Не совсем понял как можно "развернуть" на домене ПЕРВОГО уровня КАНОНИЧЕСКОЕ имя (а проще говоря псвевдоним)?
2. Если в www. указывается псевдоним на родительский домен второго уровня, то в этом нет смысла, проще просто его не создавать, если же в псевдоним на другой домен... честно признаться не встречал такого. В чём смысл?
1. никак, только используя обходные пути, например следующим образом
domain.com. IN A 111.111.111.111
www IN CNAME 222.222.222.222. или cname.cdomain.com.
при этом поставить редирект с регистратора, c domain.com на www.domain.com
Это можно сделать через .htaccess файл
2. Типична ситуация с blogger.com описана тут http://help.blogger.com/bin/answer.py?answer=55373, но аот прблема если домен хочется сделать это на домене первого уровня. Поэтому приходится заморачиватся, а вообще проже сделать редирект и не мучать себя. Смысла сам особо не вижу.