Robots协议的主要用途是,robots协议中主要规定了哪些方面的内容

　　很久没在csdn上活跃了，对markdown语法不熟悉。反正我自学编程语言有了一些新的进展，可以考虑近期在C语言做了一个窗口式的 《炉石战棋整活器》 ，原理其实简单易懂，就是利用win10的防火墙来实现的短暂断网，详情我们以后再说。Python做了一个五子棋的记牌器，原理就是在某方棋子三连时发出提示，很简陋，但还蛮好玩的，具体我会专门发帖来描述。分享一下。

　　回到正题，被高数虐了很久，用Python爬虫里的小知识看看一些网站robots协议内容，1.京东的Robots协议

　　网站：https://jd.com/robots.txt

　　内容：

　　可以看到，一些比价软件网站的爬虫如【我来查】、【e淘】在JD.COM已经被封杀。2.百度的Robots协议

　　网址：

　　https://www.baidu.com/robots.txt

　　内容：

　　百度掉了很多，主要是谷歌和苏狗类似软件的一些爬虫。

　　3.Nike的Robots协议【也是我见到的第一个有彩蛋的】

　　网站：https://www.nike.com/robots.txt

　　内容：

　　第一句，随便爬一下，能说点什么。

　　Ban也放弃了一些搜索引擎爬虫。

　　并且打上了耐克的logo，可以说是一匹秀马。

　　最后，希望各位合作伙伴的任何网站的robots协议也很有趣，包括彩蛋，大家可以分享评论。

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。