python爬⾍⼯作中遇到的问题_整理python爬⾍过程中会遇到的问题，以及如何解决这些。。。组蛋白
在使⽤python爬⾍的过程中，当我们掌握了爬⾍的基本技术，然后开始我们的爬⾍之旅的时候，各位⼩伙伴⼀定会遇到些许问题因⽽⾮常苦恼，现在我们就来探讨下这些在python爬⾍的过程中可能遇到的问题，以及如何解决这些问题。线性规划法
第⼀个，JS加密技术。⼀般⽹页的开发者为了不让⾃⼰的js代码轻易被别⼈拷贝，所以会采取⼀些加密的⼿段，来保护⾃⼰的代码。但是，对于爬⾍的⽤户来说，爬取到⼀些个乱码实在是不太好受。因此，我们就需要解密。我们可以通过debug来到js加密解密的代码，然后通过python重新实现，但是这种⽅法很耗时。或者，我们可以使⽤selenium⼯具实现，但是这个⼯具的运⾏效率较低。 第⼆个，爬⾍策略。爬⾍的⼤部分时间都⽤在了访问⽹络的过程中，爬⾍的⽬的在于获取⽹页上的数据信息并对爬⾍获得的数据进⾏提取等处理。但是，如果我们爬⾍和提取作为整个的爬⾍流程，效率其实是很低的。所以，我们应该将这两个过程分开，单独进⾏爬⾍，单独进⾏提取才是更好的策略。 上海市教育人才交流服务中心
第三个，增量爬取。增量爬取就是爬⾍不去重复下载已经下载过的内容，要实现增量爬取，我们需要使⽤⼀个新的概念-⽹址池。⽹址池是⽤来统⼀管理所有的url地址的，我们通过⽹址池来记录哪些是我们python爬⾍访问过的，从⽽避免重复。⽹址池的⽤处还可以实现断点续爬等等。断点续爬就是让之前没有爬取完毕的url继续爬⾍。陶晓明死亡
edcnhs第四个，爬⾍去重。我们在爬取内容的时候，很可能这个内容被转载多次，因此在多个url地址上可能会是相同的内容。如果我们不加分辨就进⾏爬⾍，毫⽆疑问会获得⼤量重复的内容。⼀个简单的⽅法是，通过⽂章内容的⼏段话作为这个⽂章的标识符，将其存储起来。⼀旦再次遇到相同的标识符，那就是重复的内容，不再进⾏爬⾍。蓝田股份公司
第五个，爬⾍被封禁。爬⾍会给服务器带来很⼤的负载，因此很多服务器会限制爬⾍，甚⾄禁⽤爬⾍。⼤家都知道要构造合理的http访问头，如user-agent域的值。但是，这⾥还有许多其它的避免被封禁的需要注意的问题，如放慢爬⾍访问速度，使得爬⾍访问路径和⽤户访问路径⼀致，采取动态ip地址等等。
