蜘蛛机器人

定义：对网站seo没什么用，并且大量爬取，会增加服务器负担 使用方法：robots.txt 禁止 更新时间：2…