基于python的scrapy爬虫，关于增量爬取是怎么处理的
new to scrapy， 仅提供几个思路，详细解决方案，自己解决后后续跟进。如果只是一次性的抓取某个网站的全部内容， 中途需要暂停并且恢复，只需要scrapy crawl somespider -s JOBDIR=crawls/somespider-1参考：Jobs: pausing and resuming crawls如果需求是过滤某些url，但是网站的主入口不被过滤掉，比如典型的论坛类网站，你只想过滤掉帖子，但是却不想过滤掉板块，你可以定制一下requestSeenscrapy/dupefilter.py at 0.24 · scrapy/scrapy · GitHubpython - how to filter duplicate requests based on url in scrapy如果使所有网站的动态过滤，比如是不是多了一个新回复，在url上的变化并不能体现出来，搜索引擎采用的是一系列的算法，判断某一个页面的更新时机。个人应用一般不会使用到（其实是自己也不懂，写出来提供一下思路，也许你会呢）。大部分的网页在进入下一级页面的时候都会有一个类似于最后更新时间，最后活动时间等等，可以根据这个来进行判断。
python变量增长5%
python怎样计算增长率
n年数据的增长率=[(本期/前n年)^(1/(n-1))-1]×100%
本期/前N年：应该是62616964757a686964616fe58685e5aeb931333365666162本年年末/前N年年末，其中，前N年年末是指不包括本年的倒数第N年年末，比如，计算2005年底4年资产增长率，计算期间应该是2005、2004、2003、2002四年，但前4年年末应该是2001年年末。括号计算的是N年的综合增长指数，并不是增长率。()^1/(n-1)是对括号内的N年资产总增长指数开方。也就是指数平均化。因为括号内的值包含了N年的累计增长，相当于复利计算。因此要开方平均化。应该注意的是，开方数应该是N，而不是N-1，除非前N年年末改为前N年年初数。总之开方数必须同括号内综合增长指数所对应的期间数相符。而具体如何定义公式可以随使用者的理解。[()^1/(n-1)]-1，减去1是因为括号内计算的综合增长指数包含了基期的1，开方以后就是每年的平均增长指数，仍然大于1，而我们需要的是年均增长率，也就是只对增量部分实施考察，因此必须除去基期的1，因此要减去1.
