在移动互联网时代,很多APP都开始封闭,流量不外传,比如腾讯的微信就限制搜索引擎索引他们的公众号文章,只能由微信自己搜索。今天有网友发现腾讯变了,微信放开了搜索限制,谷歌及必应可以搜索公众号文章,但百度不行。
据爆料,腾讯微信公众号官网的robots.txt被删了,这个文件是Robots协议(也称为爬虫协议、机器人协议等),全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
刚刚验证了下,现在打开的话,robots.txt文件还在,内容似乎变了,多个规则都允许索引,看起来腾讯确实是放开限制了。
至于为什么改变,猜测跟工信部等多个部门要求互联网解除限制、屏蔽的要求有关,毕竟微信、支付宝、淘宝等都要互相开放,微信公众号文章搜索也不能由腾讯自己的搜索独占。
对广大网民来说,互联网巨头一步步放开限制当然是好事,有竞争才有进步,而不是每个平台都把用户及流量当做自己的自留地。