-
今天二营长有了一个新的需求，大概需要抓二十万个页面，以前用的比较多的是threading这个库，pool线程池也用过，只是比较少。 根据二营长个人经验 ，pool线程池比threading还是有不小优......
时间：12-20 分类：Python爬虫
-
搜索引擎下拉、相关词对于做SEO的同学来说一定不陌生，无论做哪个行业，这些词对SEO来说，都是最精准的用户搜索需求，所以怎么想办法拿到这些词无论对二营长或者广大的SEOer来说......
时间：12-17 分类：Python爬虫
-
爬虫是在没有（用）API获取数据的情况下以Hack的方式获取数据的一种有效手段；进阶，就是从爬取简单页面逐渐过渡到复杂页面的过程。针对特定需求，爬取的网站类型不同，可以使用......
时间：12-11 分类：Python爬虫
-
前几天有个需求，在百度上抓了一批serp的url，需求是对这些url进行提取每个url的域名、然后对域名计数去重，提取每个url的域名好弄，有现成的函数能用，就是这个计数去重，其实在自......
时间：12-11 分类：Python爬虫
-
#coding:utf-8_author_=heziliangimportmd5,random,requests,json,sysreload(sys)sys.setdefaultencoding(utf-8)deftranslate(q,lang):appid=#自己申请的idsecretKey=#密钥myurl=http://api.fanyi.baidu.com/api/trans/vip/translatefromLang=autotoLa......
时间：12-11 分类：Python爬虫
-
平常在写Python爬虫的时候经常用到一些反爬策略，比如在请求时加上cookie、浏览器useragent切换、使用ip代理等，遇到一些小的站点还好，不用什么反爬策略就能顺利的把想要的数据抓下......
时间：12-10 分类：Python爬虫
-
会写点Python爬虫总要爬点东西来展示下自己（装装逼），今天说说爬虫策略的重要性，写爬虫没有策略不行，在确定目标url以后爬取、分析、存储的策略要大概先在自己脑瓜儿里过一遍......
时间：12-07 分类：Python爬虫
-
文章可以分为几个部分：代理IP从何而来？如何保证代理质量？采集回来的代理如何存储？如何让爬虫更简单的使用这些代理？ 1、代理IP从何而来？刚自学爬虫的时候没有代理IP就去西......
时间：12-07 分类：Python爬虫
-
[1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 https://github.com/Chyroc/WechatSogou [......
时间：12-06 分类：Python爬虫
-
python在SEO上面还是有很大的帮助，不需要达到专业的python开发人员的水平，能利用python这个工具实现自己目的就足以。 先说下为啥用python而不用其他的编程语言： 1、当我们有某些web数......
时间：12-01 分类：Python爬虫