imgresПравильный robots.txt для сайта. Здравствуйте, сегодня мы покажем вам как немного оптимизировать ваш блог, или сайт для этого на нужно создать robots.txt  который дает знать поисковому роботу что нужно индексировать что нельзя,  иногда нужно запретить индексацию некоторых файлов или каталогов а все это делается для быстрой индексации сайта блога.

 

Robots.txt

Создадим файл с названием robots.txt b и положим его в корень вашего сайта внимание обезательно в корень сайта

Я сам использую этот robots.txt можете сами посмотреть robots.txt посмотреть

 

 

 

Читайте также: