убрать страницы с ошибкой 4хх

Всем привет! Тема в последнее время для меня стала остра. Покопавшись на оф. сайте ксен, по рекомендации создал файл с ботами: User-agent: PetalBot User-agent: AspiegelBot User-agent: AhrefsBot User-agent: SemrushBot User-agent: DotBot User-agent: MauiBot User-agent: MJ12bot Disallow: /...