Помогите с робот.тхт плиз!
привет всем, парни гляньте мой робот.тхт
интересует первые строки, для робота яндекс,
добавил это:
User-agent: Yandex
Allow: /
Sitemap: http://сайт/index.php?page=xml_sitemap
в вебмастере:
Страниц в поиске 548
Внешних ссылок на страницы сайта 1
Дата последнего посещения сайта роботом 14.01.2015
Загружено роботом 5812
Исключено роботом 4669
ТИЦ меньше 10
Почему робот исключает? или после добавления этих строк что выше написал поможет?
вот полный робот:
User-agent: *
User-agent: Yandex
Allow: /
Sitemap: http://сайт.com.ua/index.php?page=xml_sitemap
Disallow: /address_book_process.php
Disallow: /ajax_shopping_cart.php
Disallow: /account.php
Disallow: /account_edit.php
Disallow: /account_edit_process.php
Disallow: /account_history.php
Disallow: /account_history_info.php
Disallow: /address_book.php
Disallow: /advanced_search_result.php?
Disallow: /affiliate_affiliate.php
Disallow: /ask_a_question.php
Disallow: /checkout_alternative.php
Disallow: /checkout_process.php
Disallow: /advanced_search.php
Disallow: /advanced_search_result.php
Disallow: /cache/
Disallow: /admin/
Disallow: /checkout_address.php
Disallow: /checkout_confirmation.php
Disallow: /checkout_payment.php
Disallow: /checkout_success.php
Disallow: /checkout_shipping.php
Disallow: /contact_us.php
Disallow: /create_account.php
Disallow: /create_account_guest.php
Disallow: /create_account_process.php
Disallow: /create_account_success.php
Disallow: /featured.php
Disallow: /index.php/manufacturers_id/
Disallow: /info_shopping_cart.php
Disallow: /shopping_cart.php
Disallow: /login.php
Disallow: /logoff.php
Disallow: /newsletter.php
Disallow: /products_new.php
Disallow: /password_double_opt.php
Disallow: /popup_image.php
Disallow: /popup_search_help.php
Disallow: /product_notifications.php
Disallow: /product_reviews.php
Disallow: /product_reviews_info.php
Disallow: /shipping.php
Disallow: /media/export/
Disallow: /media/download/
Disallow: /includes/
Disallow: /media/pub/
Disallow: /media/
Disallow: /index.php/action/
Disallow: /articles.php
Disallow: /articles_new.php
Disallow: /article_info.php/action/
Disallow: /product_info.php/action/
Disallow: /manu/
Disallow: /index.php/manu
Disallow: /index.html?products_id
Disallow: /cookie_usage.php
Disallow: /index.php/products_id
Disallow: /index.php?action=buy_now
Disallow: /specials.php/action/buy_now
Disallow: /market.php
Disallow: /*action=buy_now
Host: сайт.com.ua
При проверке робота в вебмастере яндекс ошибок вроде нет,
но внизу такие строчки:
2-66
User-agent: Yandex
Allow: /
...
Host: сайт.com.ua
Скажите, верно ли я всё исправил? огроменное спасибо всем.
Я добавил бы вот так
User-agent: *
Disallow: /cgi-bin
Disallow: /cache/
.....
....
Sitemap: http://www.com.ua/index.php?page=xml_sitemap
Спасибо за ответ, ;)
я так понял должно выглядеть так (тобишь для всех поисковиков ?)
User-agent: *
Disallow: /cgi-bin
Disallow: /cache/
Sitemap: http://www.домен.com.ua/index.php?page=xml_sitemap
........
........
........
........
........
Host: сайт.com.ua
или так?:
User-agent: *
Disallow: /cgi-bin
Disallow: /cache/
Sitemap: http://домен.com.ua/index.php?page=xml_sitemap
.....
....
.....
.....
....
Host: сайт.com.ua
Спасибочки за ответ!
Sitemap можешь в конце добавить, можешь в начало
User-agent: *
Sitemap: http://www.домен.com.ua/index.php?page=xml_sitemap
Disallow: ****
Disallow: ****
Disallow: ****
Host: сайт.com.ua
или
User-agent: *
Disallow: ****
Disallow: ****
Disallow: ****
Sitemap: http://www.домен.com.ua/index.php?page=xml_sitemap
Host: сайт.com.ua
Bay_Hacker благодпрствую Вам за помощь, посмотрите пожалуйста ЛС
несколько вопросов я написал, когда вопрос решится я опубликую решение для всех. Спасибо.
Sitemap можешь в конце добавить, можешь в начало
User-agent: *
Sitemap: http://www.домен.com.ua/index.php?page=xml_sitemap
Disallow: ****
Disallow: ****
Disallow: ****
Host: сайт.com.ua
или
User-agent: *
Disallow: ****
Disallow: ****
Disallow: ****
Sitemap: http://www.домен.com.ua/index.php?page=xml_sitemap
Host: сайт.com.ua
Спасибо это заработало! бот юзает уже)
Источник
|
