Robots.txt - редактор стандартных файлов управления пауками поисковиков. Программа для контроля над тем, как поисковые агенты-пауки просматривают Ваш веб-сайт и добавляют информацию о нем в базы данных поисковых систем. В этой программе есть все необходимое Вам для того, чтобы управлять и контролировать визиты пауков поисковых систем, индексирующих ваш веб-сайт. В отличие от других продуктов, данная программа содержит редактор стандартизированных файлов для контроля пауков Robots.txt.

Robots.txt Editor

Robots.txt is a visual editor for Robot Exclusion Files and a log analyzer software. It allows a user to quickly and easily create the Robots.txt files required to instruct search engine spiders, which parts of a Web site are not to be indexed and made searchable by the general Web public and then to identify spiders, which do not keep to those instructions. The program provides a user with a way to log onto his FTP or local network server and then select the documents and directories which are not to be made searchable. Robots.txt Editor program will help you optimize and fine tune your Web site for search engines. No more wasting time creating your Robots.txt file by hand and wondering if it is formatted properly.

Сайт: Robots.txt

Cкачать (Download) Robots.txt