robots.txt или как убрать страницы с ошибкой 4хх и повысить индексирование страниц.

[micrologic1]

Всем привет!

Тема в последнее время для меня стала остра. Покопавшись на оф. сайте ксен, по рекомендации создал файл с ботами:

User-agent: PetalBot
User-agent: AspiegelBot
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: DotBot
User-agent: MauiBot
User-agent: MJ12bot
Disallow: /

User-agent: *
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /misc/language
Disallow: /misc/style
Disallow: /posts/
Disallow: /login/
Disallow: /search/
Disallow: /whats-new/
Disallow: /admin.php
Allow: /

Sitemap: {sitemap_url}

Результат: Ошибки по коду 4хх остановились! По 200 проиндексированных страниц начало закидывать "не проиндексированные".

Как вернуть качество запросов и индексацию на гугл сервисе?

 

[hacker]

@micrologic1, С гуглом не дружу.