崗位職責(zé)：1.分布式網(wǎng)絡(luò)爬蟲(chóng)研發(fā)，開(kāi)發(fā)與完善抓取、解析、調(diào)度和存儲(chǔ)等模塊；2.負(fù)責(zé)分析新的數(shù)據(jù)需求,?完成數(shù)據(jù)處理的設(shè)計(jì)(文檔)和實(shí)現(xiàn)；?3.負(fù)責(zé)數(shù)據(jù)的清洗、整理、整合及合并等工作；?4.負(fù)責(zé)數(shù)據(jù)處理程序設(shè)計(jì)框架改善,?數(shù)據(jù)處理性能優(yōu)化,?系統(tǒng)數(shù)據(jù)處理的能力提高；?任職要求：1.大學(xué)本科以上學(xué)歷，2年以上信息采集相關(guān)工作經(jīng)驗(yàn)；?2.精通Python或java語(yǔ)言；3.精通網(wǎng)頁(yè)抓取原理及技術(shù)，精通正則表達(dá)式，熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；4.熟悉Ajax工作原理,具備扎實(shí)的數(shù)據(jù)結(jié)構(gòu)與算法功底；5.熟悉常用的反爬蟲(chóng)策略，有開(kāi)發(fā)自動(dòng)化爬蟲(chóng)框架經(jīng)驗(yàn)優(yōu)先，有驗(yàn)證碼識(shí)別技術(shù)者優(yōu)先；6.熟悉Mysql/MongoDB/Redis，有過(guò)數(shù)據(jù)庫(kù)調(diào)優(yōu)和海量數(shù)據(jù)存儲(chǔ)經(jīng)驗(yàn)優(yōu)先；7.有數(shù)據(jù)處理和清晰經(jīng)驗(yàn)，了解Hadoop、Spark等大數(shù)據(jù)框架和流處理技術(shù)者優(yōu)先；8.理解能力、分析能力強(qiáng)，邏輯思維清晰，條理清楚，具有較強(qiáng)的協(xié)調(diào)溝通能力，有良好的團(tuán)隊(duì)協(xié)作意識(shí)。
招賢納士網(wǎng)聯(lián)盟網(wǎng)站
