Страница
Новости
Каталог
Загрузки
Игромир
Форум
Услуги
Форумы
»
SEO - поисковая оптимизация и раскрутка сайтов
»
Robots.txt
3445
VitrOn
Цитировать
28.01.2013
Есть сайт, с доменом www.domain1.ru, на нем robots.txt такого содержания -
[code]User-Agent: *
Disallow: /
Host: www.domain2.ru
Sitemap: www.domain2.ru/sitemap.xml[/code]
Какие последствия могут ожидать?
Отредактировано VitrOn -
28.01.2013
3473
F_a_R_i_D
Цитировать
29.01.2013
http://robotstxt.org.ru/robotsexclusion/guide
для себя почитай, в дальнейщем понадобится.
9
irbit
Цитировать
01.02.2015
Добрый день!
Данный метод использования файла [b]Robots.txt[/b] применяется, как наиболее эффективный в борьбе с так называемым "сопливым индексом". Но для его использования, вам обязательно следует прописать мета-тег robots на страницах вашего ресурса. Осуществить это можно, вставив в functions.php, расположенный в файлах вашей темы, в самом начале, после php тега [color=red]<?php[/color], следующую функцию. Которая и будет защищать ваш сайт от нежелательных дублей:
[color=blue]function mayak_meta_robots () {
if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search())
{
echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";
}
}
add_action('wp_head', 'mayak_meta_robots');[/color]
[color=red]Обращаю ваше внимание,[/color] что данный способ я применяю на блоге: [url]http://abrek-ad-abra.ru/[/url] С использованием движка: WordPress. Сам же [b]Robots.txt[/b] имеет следующий вид:
[color=blue]User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-
Host: [url]abrek-ad-abra.ru[/url]
Sitemap: [url]http://abrek-ad-abra.ru/sitemap.xml[/url][/color]
Отредактировано irbit -
02.02.2015
Неавторизованные и новички не могут отправлять сообщения.
© 2008-2021
vmeste.eu
Контакты
|
Privacy и Cookie
|
Правила
|
О компании