Robots.txt
Plik Robots.txt jest pierwszym plikiem sprawdzanym przez robota indeksującego strony. W tymże pliku spisujemy ustawienia przeznaczone dla robotów, ustawienia te precyzyjnie mówią co ma być a co nie ma być indeksowane. Robot wchodząc na stronę
Post pochodzi ze strony: Link
Wróć do Spisu wszystkich newsów