如果黑客做搜索引擎,不遵守robots协议,那世界不是完了？

Question

如果黑客做搜索引擎,不遵守robots协议,那世界不是完了？
如果黑客做搜索引擎,不遵守robots协议,那世界不是完了？如此可以说robots协议其实是一坨屎，没什么用，网站安全用户隐私关robots协议鸟事。百度起步的时候他敢说他没向360今天这样违反robots协议？

Answer 1

robots协议就好比你到一个景点旅游，在这个景点有一部分写着此景点暂停开放，这样游客就不能进这样的景点了。类比过来，这个暂停开放的标志就是robots协议，这个游客就是指搜索引擎。

如果有小偷或者坏蛋，或者不遵守规则的人，无视暂停开放的警告，硬闯暂停开放的景点，这也是可以进去的。要是黑客做搜索引擎，不遵守robots协议是很正常的。，但世界不会完蛋。

Robots协议就是对搜索引擎的警告，不允许搜索引擎进去，但是普通的用户打开一个网站是可以看到不允许搜索引擎看的内容的，比如淘宝全站robots,但是普通用户都可以自由进入淘宝，还可以在淘宝买自己喜欢的东西，但是搜索引擎是一点也看不到的。

Robots协议是是对搜索引擎的禁止，有人说robots可以保护私人秘密，这完全扯淡，你既然把你的东西放在网站上，就是想要有人看，有人浏览，除非你如淘宝一样，不需要搜索引擎带来的流量，靠“淘宝”这个品牌效应就可以做到最大。如果说网站的用户信息怕泄露给搜索引擎，这也是扯淡，别把搜索引擎当作神，它只是个小孩而已。搜索引擎是以网页的形式抓取，除非你把用户信息做成网页放到网站上，否则不会的。

百度说360违反了robots协议，就是因为360抓取了百度的网页内容，百度robots掉了360，不允许360抓取百度的内容，但是360还是抓取了，我想这就是全部的内容，所谓的用户体验、安全之类的全都是废话和借口，是找不到话说时的什么话都敢说。

robots就是一个协议，可以遵守也可以不遵守，就像暂停开放一样，当来了个政府大员想进去还能暂停开放吗？就像在公交车给老人让座一样，你可以让座，也可以不让座，让座是一种美德，你可以要，也可以不要，这跟你是好是坏没有关系。但是社会压力和政府强迫你让座，那他们是违反你自己的意愿，他们都是无耻的，他们比道德败坏者还要道德败坏。

Answer 2

　Robots协议是什么？在百科网站里的定义，robot协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

　　当搜索蜘蛛访问站点时，它会首先检查网站根目录下是否存在Robots.txt。如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

　　Robot协议对于小白用户并不重要，之前也并不广为人知。最近和Robots相关的新闻都发生在电子商务网站，之前有两个：一个是京东屏蔽一淘的蜘蛛，另一个是淘宝屏蔽百度的蜘蛛。现在，3B大战闹得很凶，很多人把Robot协议拿出来说事儿。

　　而在我看来，Robot充其量是互联网江湖规矩、“潜规则”而已。

　　Robot协议不是行业标准，只是“搜索引擎的家规”。

　　Google是互联网江湖的大佬，Robots的发展恰恰与Google的发展密不可分。

　　当年，谷歌凭借搜索引擎飞速发展，可很多大型网站原有的商业模式遭到了严重的破坏。为了维护自身的利益，一些欧美大网站联合起来与Google谈判，要求Google必须做到“有所为有所不为”，于是就有了“Robots协议”。

　　对于这份所谓的Robots协议，很多企业并不买账。毕竟，这只是谷歌自己制定的规范，并不是各大搜索厂商的共识或统一的协议，也从来没有任何一家国内搜索引擎服务商公开承诺遵守Robots协议或签署类似协议或声明。 所以，在很多人眼里，充其量是谷歌的“家规”。

　　而事实上，这个由搜索引擎制定的协议，只会规定如何与网址分享内容，绝对不会对于搜索引擎不利的条款。伴随搜索引擎的发展，Robots协议朝着相反的法相发展：

　　Robots协议目的是为了限制谷歌，但最终却帮助Google和百度这样的垄断企业遏制了后起的竞争者。因为，Google当年在制定这个协议时，特意留下了后门，即：协议中不仅包括是否允许搜索引擎进行搜索的内容，还包括允许谁和不允许谁进行搜索内容。Google和百度在实现了垄断地位之后，就利用这些排斥性规则挡住了后来的进入者.

Answer 3

用户的隐私并不是直接放在网页上的，都是存放在服务器对应的数据库里面，想要获取相应的数据除非是破了服务器，不过服务器不是这么容易就能破的，还有能获取用户隐私的一般都是在浏览器上的cookies、痕迹，360有没有把这些上传到它服务器就不知道了，两家利益的事，不过360你好好做你的防毒不就好了，硬要插只脚进搜索这块

Answer 4

照你这么说社会道德也就没用了呗？干点什么事情都得签合同，用法律来限制，买包方便面都得走程序。这样一来就不用所谓的协议了。

Answer 5

没这么NB的！这些事本身就是在相互抵毁对方，当然什么事都可能出来，！！！