工作職責(zé):??
1)對(duì)公司各項(xiàng)目所需的網(wǎng)絡(luò)數(shù)據(jù)源進(jìn)行數(shù)據(jù)抓取
2)按要求完成數(shù)據(jù)抓取前的配置等準(zhǔn)備工作,確保所負(fù)責(zé)的網(wǎng)站按周期采集及時(shí)、全面
3)完成團(tuán)隊(duì)安排的其他工作
職位要求:??
1)計(jì)算機(jī)、數(shù)學(xué)、統(tǒng)計(jì)、軟件工程等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,熟悉Python編程語(yǔ)言;
2)熟悉scrapy,?pyspider等爬蟲(chóng)框架,熟悉數(shù)據(jù)清洗方式以及正則;?
3)熟悉主流反爬策略并能夠突破反爬限制
4)對(duì)公開(kāi)合規(guī)的網(wǎng)絡(luò)數(shù)據(jù)源進(jìn)行數(shù)據(jù)獲取
5)獨(dú)立設(shè)計(jì)或開(kāi)發(fā)過(guò)爬蟲(chóng)框架者加分,有分布式爬蟲(chóng)經(jīng)驗(yàn)加分