您好,欢迎访问山东SEO,济南seo公司,济南网站优化,网站优化公司_搜点网络!

       济南网站优化公司提供济南SEO服务 0531-88804181 (客服热线)
15628820205 (技术+营销总监)
当前位置:搜点网络 > SEO资讯 > 公司新闻 >

seo案例:你了解robots.txt文件吗?

浏览量:     发布时间: 2019-10-18 09:28

什么是robots.txt文件
 
 抓取指令
 
robots.txt文件是一个由查找引擎蜘蛛读取并遵照严厉的语法内容所组成的文本文件。文件的语法很严厉,仅由于它有必要是计算机可读的。这意味着这里没有差错的地步。
robots.txt文件
robots.txt文件也称为“机器人扫除协议”,是早期查找引擎蜘蛛开发人员达成一致的成果。它不是任何标准安排拟定的官方标准,可是一切首要的查找引擎都遵循它。
 
robots.txt文件做什么?
robots.txt文件
查找引擎通过抓取页面,随从链接从站点A到站点B再到站点C的方法对网页进行索引。在查找引擎查找遇到新网站时,它将打开该网站的robots.txt文件,该文件告知查找引擎答应该站点上的哪些URL进行索引。
 
查找引擎通常会缓存robots.txt的内容,但通常会每天刷新几回,因此更改会很快反映出来。
 
我应该在哪里寄存robots.txt文件?
robots.txt文件
robots.txt文件应一向位于域的根目录。因此,如果您的域名为www.example.com,则应位于https://www.example.com/robots.txt。
 
robots.txt编写的内容也很重要。内容区别大小写,因此请正确编写,否则将无法运用。