Файл robots.txt — текстовый файл в формате .txt, ограничивающий поисковым роботам доступ к содержимому на http-сервере. Как определение, Robots.txt — это стандарт исключений для роботов, который был принят консорциумом W3C 30.....

     Для начала стоит определить понятие хостинг. Если взять в общем, то хостинг — это услуга по предоставлению дискового пространства на каком-либо сервере, а также предоставление доменного имени.
Домен.
.....