1、負(fù)責(zé)Cassandra、Hadoop、HBase、spark等大數(shù)據(jù)平臺(tái)的規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等工作??2、對(duì)海量數(shù)據(jù)做采集、存儲(chǔ)、管理、查詢(xún)、分析、挖掘、建模等處理?3、參與完成項(xiàng)目和業(yè)務(wù)系統(tǒng)的設(shè)計(jì)、開(kāi)發(fā)和測(cè)試等工作??4、協(xié)助并參與爬蟲(chóng)策略和防屏蔽規(guī)則研究,提升網(wǎng)頁(yè)抓取的效率和質(zhì)量
????5、??根據(jù)項(xiàng)目需求進(jìn)行開(kāi)發(fā)實(shí)現(xiàn),文檔撰寫(xiě),項(xiàng)目實(shí)施?
任職要求
1.?本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專(zhuān)業(yè),2年以上大數(shù)據(jù)相關(guān)經(jīng)驗(yàn)2.?hadoop大數(shù)據(jù)集群系統(tǒng)運(yùn)維或開(kāi)發(fā)經(jīng)驗(yàn),熟悉Cassandra分布式數(shù)據(jù)庫(kù),熟悉Hadoop/HBase/spark?S3等大數(shù)據(jù)系統(tǒng),有大數(shù)據(jù)平臺(tái)運(yùn)維或開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。3.?熟悉Linux操作系統(tǒng),熟悉Java,熟練使用Shell/Perl/Python中至少一種語(yǔ)言,能熟練編寫(xiě)常規(guī)運(yùn)維腳本4.?具備較強(qiáng)的學(xué)習(xí)能力、邏輯分析能力、問(wèn)題排查能力5.?具備良好的溝通表達(dá)能力,良好的團(tuán)隊(duì)精神和合作精神6.?極強(qiáng)的責(zé)任心和耐壓能力,對(duì)項(xiàng)目質(zhì)量有很高的要求。