崗位職責(zé):1、主導(dǎo)分布式爬蟲和數(shù)據(jù)采集系統(tǒng)的架構(gòu)設(shè)計(jì)和開發(fā);2、參與分布式爬蟲模塊服務(wù)架構(gòu)和數(shù)據(jù)存儲(chǔ)架構(gòu)的設(shè)計(jì)和開發(fā);3、解決規(guī)模增長(zhǎng)或目標(biāo)網(wǎng)站反爬蟲技術(shù)帶來的技術(shù)問題,確保提供高可靠數(shù)據(jù)服務(wù),保證系統(tǒng)穩(wěn)定、高效運(yùn)行;4、其他開發(fā)及運(yùn)維工作。任職要求:1、本科及以上學(xué)歷,軟件工程專業(yè)優(yōu)先;2、具備2年以上爬蟲項(xiàng)目開發(fā)、部署及運(yùn)維經(jīng)驗(yàn);3、熟練掌握J(rèn)ava語言;4、深入了解Http協(xié)議?和?web登錄認(rèn)證機(jī)制;5、熟悉爬蟲相關(guān)技術(shù),如Heritrix、Nutch、?httpClient、jSoup、xpath、正則表達(dá)式、驗(yàn)證碼加密處理、代理池等;6、熟悉Hadoop(HDFS/MapReduce/Hive)、Hbase等分布式框架者;7、有豐富的應(yīng)對(duì)反爬蟲的經(jīng)驗(yàn),例如合理使用?ip?池等技術(shù);8、有運(yùn)營(yíng)商及支付寶網(wǎng)站爬取或逆向經(jīng)驗(yàn)者優(yōu)先;9、對(duì)數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法方面有一定了解,有豐富的數(shù)據(jù)分析、挖掘、清洗和建模的經(jīng)驗(yàn)。公司簡(jiǎn)介:浙江捷富信息科技有限公司成立于2014年11月,注冊(cè)資金壹仟萬元人民幣,?是一家以實(shí)際消費(fèi)場(chǎng)景為基礎(chǔ),借助移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等高新技術(shù),為滿足廣大消費(fèi)者在具體消費(fèi)場(chǎng)景中快速便捷信用支付需求服務(wù)的現(xiàn)代化互聯(lián)網(wǎng)科技金融企業(yè)。公司依托現(xiàn)有的通信合作資源和多年的移動(dòng)通訊行業(yè)經(jīng)驗(yàn),目前以移動(dòng)通訊消費(fèi)市場(chǎng)為快速主攻的業(yè)務(wù)場(chǎng)景。下一階段將不斷豐富完善多渠道多消費(fèi)場(chǎng)景,為顧客提供更貼心、更便捷、更實(shí)惠的消費(fèi)支持。