崗位職責(zé)要求：
1.參與爬蟲系統(tǒng)架構(gòu)設(shè)計(jì)和研發(fā)；
2.負(fù)責(zé)開發(fā)高性能抓取架構(gòu)，支持業(yè)務(wù)發(fā)展；
3.負(fù)責(zé)對爬取數(shù)據(jù)進(jìn)行分類和解析；
3.參與大數(shù)據(jù)系統(tǒng)的開發(fā)維護(hù)
崗位任職要求：
1、熟練掌握Python開發(fā)語言,3年以上的的爬蟲工作經(jīng)驗(yàn)；
2、1-2年以上大規(guī)模網(wǎng)頁爬蟲開發(fā)經(jīng)驗(yàn)，有前端JS逆向工程經(jīng)驗(yàn)優(yōu)先；
3、熟悉分布式系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn),解決反爬蟲、網(wǎng)絡(luò)異常等各種常見爬蟲問題；
4、熟悉app端數(shù)據(jù)抓?。ㄓ心嫦颉⒚摎さ冉?jīng)驗(yàn)），掌握Apktool、dex2jar、JD-GUI等工
具，抓取過主流電商平臺和主流app軟件；
5、熟悉Hbase/Elasticsearch/kafka等大數(shù)據(jù)相關(guān)技術(shù)；
6、工作踏實(shí)認(rèn)真，思路清晰，有強(qiáng)烈的責(zé)任心、優(yōu)秀的協(xié)調(diào)溝通能力和團(tuán)隊(duì)合作精神；
