任職資格與要求:?
1.精通大數(shù)據(jù)分析處理(Hadoop,HDFS,?MapReduce,Hbase,Pig,Hive)等技術(shù)內(nèi)部機制;有Hadoop集群搭建,管理,優(yōu)化經(jīng)驗;?
2.扎實的Java語言基礎,熟悉Java開發(fā)工具和調(diào)試工具的使用;?
3.熟悉Linux系統(tǒng),熟練使用shell/perl/python腳本處理問題;?
4.本科及以上學歷;?
5.2年以上相關工作經(jīng)驗;?
6.有獨立解決技術(shù)問題的能力,文檔編寫能力,溝通和協(xié)作能力等;?
7.具有較強的團隊意識與良好的溝通能力,高度的責任感,對工作積極嚴謹,勇于承擔壓力,較強的學習能力以及快速解決問題的能力;?
8.有海量數(shù)據(jù)挖掘算法開發(fā)經(jīng)驗者優(yōu)先;兼有Oracle,MySQL開發(fā)經(jīng)驗者優(yōu)先。?
崗位職責:?
1.負責公司的大數(shù)據(jù)處理框架的研發(fā)工作,設計與開發(fā)基于Hadoop平臺的海量日志的分布式存儲與數(shù)據(jù)分析架構(gòu);?
2.負責Hadoop集群配置管理,性能調(diào)優(yōu);Hadoop集群日常維護,提供穩(wěn)定的系統(tǒng)服務;?
3.負責MapReduce程序編寫,Hbase數(shù)據(jù)庫等開發(fā)工作;?
4.負責數(shù)據(jù)采集及預處理程序開發(fā)、維護,優(yōu)化;?
5.負責項目相關設計、開發(fā)、測試文檔的撰寫。?