Plik robots.txt – do czego służy?

Plik robots.txt służy do informowania automatów wyszukiwarek (botów, robotów) o tym, czego nie powinny robić na stronie WWW. W tym pliku zawarte są informacje jakie dane nie mogą być indeksowane przez wyszukiwarki.

Robots.txt znajduje się w panelu administracyjnym, w sekcji Pozycjonowanie/ robots.txt.

W zakładce tej można ustalić jaka część strony ma być indeksowana, a jaka nie. Można ustalić np. że cała strona ma być indeksowana lub cała strona ma nie być indeksowana, lub też że tylko konkretny plik ma nie być indeksowany.

Dokonane zmiany należy zapisać przyciskiem.