Robots.txt

Цитировать  28.01.2013

Есть сайт, с доменом www.domain1.ru, на нем robots.txt такого содержания -
[code]User-Agent: *
Disallow: /
Host: www.domain2.ru
Sitemap: www.domain2.ru/sitemap.xml[/code]
Какие последствия могут ожидать?

Цитировать  29.01.2013

http://robotstxt.org.ru/robotsexclusion/guide

для себя почитай, в дальнейщем понадобится.

Цитировать  01.02.2015

Добрый день!
Данный метод использования файла [b]Robots.txt[/b] применяется, как наиболее эффективный в борьбе с так называемым "сопливым индексом". Но для его использования, вам обязательно следует прописать мета-тег robots на страницах вашего ресурса. Осуществить это можно, вставив в functions.php, расположенный в файлах вашей темы, в самом начале, после php тега [color=red]<?php[/color], следующую функцию. Которая и будет защищать ваш сайт от нежелательных дублей:

[color=blue]function mayak_meta_robots () {
if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search())
{
echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";
}
}
add_action('wp_head', 'mayak_meta_robots');[/color]

[color=red]Обращаю ваше внимание,[/color] что данный способ я применяю на блоге: [url]http://abrek-ad-abra.ru/[/url] С использованием движка: WordPress. Сам же [b]Robots.txt[/b] имеет следующий вид:
[color=blue]User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-
Host: [url]abrek-ad-abra.ru[/url]
Sitemap: [url]http://abrek-ad-abra.ru/sitemap.xml[/url][/color]