工作職責(zé)：
1.?參與分布式爬蟲系統(tǒng)的設(shè)計(jì)與開發(fā)，核心模塊研發(fā)工作，改進(jìn)和提升爬蟲效率
2.?攻破各種反爬策略，快速解決各類技術(shù)疑難問題，建設(shè)反爬對(duì)抗組件庫
3.?負(fù)責(zé)WEB信息和APP數(shù)據(jù)抽取、清洗、消重等工作
4.?實(shí)時(shí)監(jiān)控爬蟲進(jìn)度和預(yù)警處理
5.?與產(chǎn)品部門和上級(jí)溝通確保數(shù)據(jù)的準(zhǔn)確性及時(shí)性
任職要求：
·?有航司、機(jī)票、等旅游行業(yè)經(jīng)驗(yàn)者優(yōu)先
·?有WEB、APP爬取和分布式爬蟲經(jīng)驗(yàn)者優(yōu)先
1.?計(jì)算機(jī)及相關(guān)專業(yè)
2.?2年及以上相關(guān)工作經(jīng)驗(yàn)，有一定的研究和解決問題的能力
3.?精通至少一種開發(fā)語言，如Python、Java
4.?熟練掌握至少一種開源爬蟲框架，熟練掌握mongo、redis、kafka、hadoop等相關(guān)技術(shù)
5.?對(duì)爬蟲有濃厚的興趣，責(zé)任感強(qiáng)，有較好的交流溝通能力和團(tuán)隊(duì)合作能力；
6.?熟悉常見的反爬策略，有JavaScript反爬、APP反爬、抓包分析、反爬策略探測、逆向等領(lǐng)域經(jīng)驗(yàn)
7.?有豐富經(jīng)驗(yàn)者，可以負(fù)責(zé)和主導(dǎo)爬蟲組研發(fā)工作