崗位職責(zé):1?、?負(fù)責(zé)抓取平臺(tái)的核心技術(shù)研發(fā)工作;2、?負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)的核心技術(shù)研究和開(kāi)發(fā);3、?設(shè)計(jì)爬蟲(chóng)策略和防屏蔽規(guī)則,提升網(wǎng)頁(yè)抓取的效率和質(zhì)量;4、?分析爬蟲(chóng)系統(tǒng)的技術(shù)缺陷,對(duì)策略架構(gòu)做出合理地調(diào)整和改進(jìn);???5、?負(fù)責(zé)網(wǎng)頁(yè)抓取相關(guān)在線服務(wù)、計(jì)算、調(diào)度、存儲(chǔ)等工程架構(gòu)開(kāi)發(fā);6、?負(fù)責(zé)相關(guān)業(yè)務(wù)團(tuán)隊(duì)定向數(shù)據(jù)獲取訴求。任職條件:1、Java?開(kāi)發(fā)3年以上工作經(jīng)驗(yàn)。2、能熟練使用jsoup,httpclient,htmlunit,參與過(guò)爬蟲(chóng)開(kāi)發(fā)。3、能熟練使用Xpath?、CssSelector、正則表達(dá)式進(jìn)行數(shù)據(jù)解析。4、能熟練使用關(guān)系型數(shù)據(jù)庫(kù)?MySQL,非關(guān)系型數(shù)據(jù)庫(kù)?mongdb,?redis?緩存,rabbitmq消息隊(duì)列等。5、參與過(guò)強(qiáng)授權(quán)爬蟲(chóng)開(kāi)發(fā)的優(yōu)先,能獨(dú)立完成網(wǎng)站的爬蟲(chóng)開(kāi)發(fā)。