您现在的位置是:首页 > 正文

robots协议的相关知识

2024-04-01 02:11:26阅读 2

   robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。 所通过在这个txt文档里添加相关的一些内容来禁止搜索引擎爬取相关的网页和路径。这样搜索引擎就只会爬取未经限制的网页。

每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该做网站中添加一个robots.txt。 如果你在robots.txt里面设置了禁止所有搜索引擎爬取,那么就会导致你的网页无法被搜索引擎收录。

robots.txt文件的格式

User-agent:该项的值用于描述搜索引擎robot的名字,如果是*表示的是所有的搜索引擎

Disallow:该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。

Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL是允许robot访问的。
 

网站文章

  • 模拟jQuery实现获取元素和修改css样式

    模拟jQuery实现获取元素和修改css样式

    jQuery jQuery是一个JavaScript的函数库,可以简便的去操作dom元素以及提供了很多的插件。 今天简单的模拟一下jQuery的底层,去操作dom元素,以及修改css样式。 首先我们使...

    2024-04-01 02:10:45
  • 模板目录

    3. 专题和知识点详细内容 下面用表格的形式列出了竞赛中用到的算法知识点,约300个。 本文作者估计,铜牌和银牌需要约200个知识点,其他的是金牌。 **注:**表格中的“典型题”,不一定是模板题,只作为进一步了解的参考。 3.1. 数学Mathematics 3.1.1数论Number Theory 知识点 英文 典型题 说明 GCD、LCM 1 素数判断...

    2024-04-01 02:10:37
  • openresty 重定向

    openresty 重定向

    2024-04-01 02:10:28
  • Docker Desktop配置国内镜像仓库解决docker pull速度慢问题

    Docker Desktop配置国内镜像仓库解决docker pull速度慢问题

    添加国内镜像仓库解决docker pull速度慢问题

    2024-04-01 02:09:45
  • python游戏脚本实例-Python使用pygame模块编写俄罗斯方块游戏的代码实例

    python游戏脚本实例-Python使用pygame模块编写俄罗斯方块游戏的代码实例

    文章先介绍了关于俄罗斯方块游戏的几个术语。边框――由10*20个空格组成,方块就落在这里面。盒子――组成方块的其中小方块,是组成方块的基本单元。方块――从边框顶掉下的东西,游戏者可以翻转和改变位置。每...

    2024-04-01 02:09:37
  • 【知识总结】 关于Webpack Loader知多少

    【知识总结】 关于Webpack Loader知多少

    loader是什么? loader 让 webpack 能够去处理其他类型的文件,并将它们转换为有效模块。以供应用程序使用,以及被添加到依赖图中。loader 本质上是导出为函数的 JavaScrip...

    2024-04-01 02:08:59
  • c++11之weak_ptr 使用介绍

    c++11之weak_ptr 使用介绍

    介绍 weak_ptr是弱智能指针对象,它不控制所指向对象生存期的智能指针,它指向由一个shared_ptr管理的智能指针。将一个weak_ptr绑定到一个shared_ptr对象,不会改变shared_ptr的引用计数。一旦最后一个所指向对象的shared_ptr被销毁,所指向的对象就会被释放,即使此时有weak_ptr指向该对象,所指向的对象依然被释放。 代码验证如下: //defa...

    2024-04-01 02:08:53
  • 统一cas认证java_新版统一身份认证(CAS)

    申请需要提供以下信息,内容说明应用名称:格式为单位全称加应用,中间使用英文-连接,比如(学生处-离校系统),单位不需要再加厦门大学字样回调地址:格式为类似http://EXAMPLE.xmu.edu....

    2024-04-01 02:08:46
  • Mybatis设计分析一

    Mybatis设计分析一

    前面文章主要针对mybatis的进阶的使用有了个大的了解,包括缓存自定义 以及开启二级缓存机制,以及如何达到多数据源,按照我之前的写法通过路由 去解决 不同的数据源的问题,当然可以,有些时候其实也不用...

    2024-04-01 02:08:39
  • 两万常用汉字的拼音+首字母缩写+unicode编码对照表

    最近做项目遇到一项需求,为了隐藏汉字,对医院名称使用首字母代替,对医生名称用拼音代替。查阅了众多资料,比较分散,也不规范,做一个统一,问题包括以下几方面:1. 读出汉字的拼音首字母可通过Excel 公式实现;2. 读出汉字的拼音实现方法,基本需要借助编程,但是目前网上流传最广的版本是比较老旧的版本,不仅编码覆盖不全,而且有错误的mapping。3. 得到2万个常用的汉字并不容易,最...

    2024-04-01 02:07:59