大數(shù)據(jù)工程師
工作職責(zé)：
-?負(fù)責(zé)公司內(nèi)部大數(shù)據(jù)存儲(chǔ)、處理和查詢平臺(tái)開發(fā)
-?負(fù)責(zé)研發(fā)hadoop&spark集群平臺(tái)
-?對(duì)流動(dòng)數(shù)據(jù)進(jìn)行處理與存儲(chǔ)，并應(yīng)用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)方法對(duì)海量數(shù)據(jù)進(jìn)行分析運(yùn)用
職業(yè)要求
-?熟悉數(shù)據(jù)庫(kù)工程，參與過數(shù)據(jù)庫(kù)的搭建與維護(hù)
-?熟悉hadoop&spark平臺(tái)的架設(shè)、優(yōu)化和開發(fā)能力
-?具有扎實(shí)的編程基礎(chǔ)，熟悉scala,java,python中至少一種語(yǔ)言
-?熟悉分類、聚類、回歸、圖計(jì)算等機(jī)器學(xué)習(xí)算法
-?有mapreduce/spark應(yīng)用開發(fā)經(jīng)驗(yàn)，熟悉數(shù)據(jù)挖掘
-?具有一定的腳本語(yǔ)言處理、ETL、數(shù)據(jù)倉(cāng)庫(kù)建模能力
-?具有海量數(shù)理處理經(jīng)驗(yàn)，熟悉hadoop/spark源碼優(yōu)先考慮
-?具有關(guān)系型數(shù)據(jù)庫(kù)開發(fā)經(jīng)驗(yàn)者，熟悉sql?server搭建及使用者優(yōu)先考慮