取协议，业内叫Robot协议。这个协议会声明，该网站的哪些内容可以爬取，哪些内容不能爬取，并规定白名单里的爬虫可以爬取主页内容。淘宝如果要屏蔽百度，只需要把百度的爬虫加到黑名单里就行了。”
    “嗯！”
    周不器点了点头。
    这就是他想要的答案。
    爬虫黑名单！
    王小船似乎看出了什么，试探着说：“老板，你……你要对百度下手吗？”
    周不器道：“我看了一下微知网的数据，过去3个月，有超过1.1亿的访问量，是来自百度。”
    王小船没有惊喜，深吸了口气，忧心忡忡的说：“微知的访问量本来就不高，如果屏蔽了百度，流量就更低了。”
    周不器并不在乎，“微知不需要流量，微知需要的是优质内容。你都说了，百度的算法不如谷歌，很难通过简单的数据处理完成对一些有深度内容的检索，来爬取微知的内容，是简洁途径。有不少用户都是通过百度来访问微知，我们要断了这条线！”
    王小船眨眨眼，“真要屏蔽吗？”
    “当然。”
    “可Robot协议没有法律效力。”
    “啥？”
    “这个协议，是一种行业约束，君子协定，不是法律
 <本章未完请点击"下一页"继续观看!>