提问网站日志蜘蛛爬行的页面,很多都不存在,是怎么回事啊烤红薯7个月前发布251今天下载了网站日志看了看,大多数的蜘蛛爬行的页面,实际都不存在的,这种正常吗,我刚才写了一个robots文件,把那些目录都禁止了,这样可以吗