robots.txt

  1. micrologic1

    robots.txt или как убрать страницы с ошибкой 4хх и повысить индексирование страниц.

    Всем привет! Тема в последнее время для меня стала остра. Покопавшись на оф. сайте ксен, по рекомендации создал файл с ботами: User-agent: PetalBot User-agent: AspiegelBot User-agent: AhrefsBot User-agent: SemrushBot User-agent: DotBot User-agent: MauiBot User-agent: MJ12bot Disallow: /...
  2. baltun

    Robots.txt Builder - PHP Script

    Пользователь xsasha разместил новый ресурс: Robots.txt Builder - PHP Script - Генератор фала Robots.txt. Узнать больше об этом ресурсе...
  3. baltun

    Robots.txt Builder - PHP Script 1.0

    Этот скрипт поможет вам создать файл robots.txt
Назад
Верх Низ