Robots.txt

Plik Robots.txt jest pierwszym plikiem sprawdzanym przez robota indeksującego strony. W tymże pliku spisujemy ustawienia przeznaczone dla robotów, ustawienia te precyzyjnie mówią co ma być a co nie ma być indeksowane. Robot wchodząc na stronę

Post pochodzi ze strony: Link

Wróć do Spisu wszystkich newsów