More from: robot

Зачем нужен файл Robots.txt

Robots Exclusion Protocol (файл Robots.txt – протокол исключения) нужен для того, чтобы указать поисковым машинам, какие страницы сайта индексировать не следует. Существует много причин, по которым вы можете захотеть это сделать. Например, если страница содержит какие-то графики или рисунки, но почти не имеет текстового содержимого. Или вы не хотите, чтобы в результате поиска выдавались закрытые […]