Robots.txt - как исключить определенную страницу сайт из поиска. Использование кириллицы

Использование кириллицы запрещено в файле robots.txt, поэтому нужно делать переводл в латиницу через punycode.

Для того чтобы исключить определенную страницу сайта - нужно использовать параметр Disallow:, для примера:

Disallow: /wiki/%D0%A1%D1%81%D1%8B%D0%