理财爬虫项目(一)之设想

评论(2)

因为公司原因,
想要抓取各大银行的理财信息,
所以最近恶补了一下爬虫语言(Python
初始下感觉Python有点面向过程,一些深入的东西,正在研读。

项目设想

抓取各大银行每日更新的理财产品信息。
收益率
风险度
募集期,起止日期。
期限。

项目环境

当然是爬虫专用语言python了
所用框架Scrapy
语言和框架正在研习中……其他的没有多想。

难点

难点在于每家银行的采集规则都不一样,OMG!!!
而且文章发布具有一定的随机性,WTF!!!
我有信心做下去,
但是,
我没有信心日后,规则改变后我能实时更新采集规则。。。。。。。。。。。

后续&吐槽

后续:且看吧。
吐槽:有好多,尼玛小人去死。





转载请注明转自: 理财爬虫项目(一)之设想

  1. @技术拉近你我
    有一些服务器采集会把自己采宕机。

  2. 哈哈!之前采集别人把自己服务器搞垮了==