robots.txt的写法
发布时间：2022-04-14 11:39:04 所属栏目：搜索优化 来源：互联网
导读：robots.txt的写法是做seo的人员必须知道的（什么是robots.txt），但该如何写，禁止哪些、允许哪些，这就要我们自己设定了。 百度蜘蛛是一机器，它只认识数字、字母和汉字，而其中robots.txt就是最重要也是最开始和百度对话的内容。 当我们的网站在没有建好
|
robots.txt的写法是做seo的人员必须知道的（什么是robots.txt），但该如何写，禁止哪些、允许哪些，这就要我们自己设定了。 百度蜘蛛是一机器，它只认识数字、字母和汉字，而其中robots.txt就是最重要也是最开始和百度“对话”的内容。 当我们的网站在没有建好的时候，我们不希望百度来抓取我们的网站，往往有人会禁止百度来抓取。但是，这种做法是非常不好的，这样会让百度蜘蛛很难再来到你的网站了。所以，我们必须现在本地搭建网站，等一切都搞好以后，再去买域名、空间，要不，一个网站的反复修改，会对你的网站有一定的不利影响。 我们的网站起初的robots.txt写法如下： User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ User-agent: * 的意思是，允许所以引擎抓取。 而Disallow: /wp-admin/和Disallow: /wp-includes/，则是禁止百度抓取我们的隐私，包括用户密码、数据库等。这样的写法既保护了我们的隐私，也让百度蜘蛛的抓取最大化。 如果，你想禁止百度蜘蛛抓取某一个页面，比如123.html，那就加一句代码“Disallow: /123.html/”即可。 robots.txt写好后，只需要上传到网站的根目录下即可。 （编辑：云计算网_泰州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330476号