-
Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。
-
User-agent: * 星号说明允许所有搜索引擎收录
-
Disallow: index.php? 表示不允许收录以index.php?前缀的链接，比如index.php?=865
-
Disallow: /tmp/ 表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html
-
Sitemap:（可选） 网站地图链接
Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。
User-agent: * 星号说明允许所有搜索引擎收录
Disallow: index.php? 表示不允许收录以index.php?前缀的链接，比如index.php?=865
Disallow: /tmp/ 表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html
Sitemap:（可选） 网站地图链接