苹果改善OS X 10.10, iOS 8的Spotlight网络搜索？

一位开发者报告称，他发现苹果秘密使用网络爬虫抓取互联网开发者_运维知识库上的HTML内容，但他不确定苹果这样做的目的。苹果的网络爬虫是用谷歌的Go语言编写的，最早可以追溯到10月15日。其他开发者也报告称，他们发现了苹果网络爬虫的踪迹，该爬虫只请求网站的HTML内容，不访问CSS、JavaScript或图片文件。

苹果的网络爬虫使用Mozilla/5.0(兼容；Fetcher/0.1)。它来自17开头的IP地址。这是苹果服务器所在的地方。目前还不确定是苹果官方行为还是员工自己编写的测试软件。如果是苹果官方，可能暗示苹果在偷偷改进OS X 10.10和iOS 8的Spotlight网络搜索功能。该功能允许用户不打开谷歌或必应搜索网站。苹果虽然不与谷歌、微软竞争，但也在Siri中提供了一定的信息，因此无需显示Bing搜索结果。网络爬虫是一个“自动浏览互联网”的程序，或者说是一个网络机器人。它们广泛应用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方法。他们可以自动收集所有他们可以访问的页面内容，供搜索引擎进一步处理(对下载的页面进行排序)，这样用户就可以更快地检索到他们需要的信息。