Яндекс и robots.txt

В чем проблема ? В яндексе при анализе robots если загоняю любой url с сайта ( сгенерированный)
пишет "этот URL не принадлежит вашему домену" robots стандартный, тот что в комплекте, может его изменить. Яндекс получается видит только главную страницу... Как правильно указать использовать директиву Host, как я понял проблема с именем www.... и без, вроде надо указать зеркала? Решение найдено :) ,можно удалить сообщение.

у яндекса в документации описано что и как делать.

да. именно через host нужно делать.

Источник