因为整个互联网的网状结构，使它具备网状互通性，所以等爬虫将所有URL遍历了，一般来说它就已经将整个国际互联网所有链接全部访问了一遍，这注定是一个比环球旅行更加令人叹为观止的行为。
    而莫回既然想弄这个股神1.0，他想要搜集海量数据，那么他要做的事情其实和搜索引擎要做的事情很像，只不过搜索引擎是所有信息都要搜集，而莫回只需要关注股票相关的信息就行了。
    这样的话，莫回的爬虫就必须在具备遍历能力的同时，还得具备筛选的能力。
    遍历的能力解释起来很简单，就是你不能走回头路和冤枉路，游历过的URL就犯不着再走第二遍了。一条新的URL被发现，首先需要判断这条URL是否已经走过，其次需要判断这条URL被安排在什么次序去走。一个是重复性问题，一个是最优化问题，这就需要独特的遍历算法来解决。
    而筛选功能就是通用爬虫和专用爬虫之间的主要区别，莫回的爬虫需要具备一定的识别能力，能够辨别某个URL中的内容是否具备相关性，如果不具备那么就跳过，如果具备就将其中的内容复制回来待用。
    这个筛选功能同样需要一大堆的算法来解决，不仅如此，它还需要具备自然语言处理能
 <本章未完请点击"下一页"继续观看!>