工作職責(zé):?
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的搭建、功能組件開發(fā);?
2、設(shè)計(jì)穩(wěn)定、可復(fù)用、可擴(kuò)展的數(shù)據(jù)倉庫模型,用戶;像數(shù)據(jù)模型,快速支持公司決策數(shù)據(jù)需要、各方向數(shù)據(jù)分析和挖掘需要;
3、治理整合多方、異構(gòu)數(shù)據(jù),合理實(shí)現(xiàn)數(shù)據(jù)中臺(tái)的數(shù)據(jù)分層、組織管理等。
能力要求:
1、熟悉HDFS,HIVE,YARN,SPARK,HBASE,KAFKA,IMPALA,ZOOKEEPER,ES,KYLIN等組件的使用和原理,具備一定的架構(gòu)能力;?
2、扎實(shí)的編程功底,精通Python/Scala/Java其中一種語言;?
3、熟悉Linux系統(tǒng)以及shell或perl等腳本語言的開發(fā);?
4、熟悉數(shù)倉維度建模、OLAP,熟悉主流數(shù)據(jù)庫(Oracle、Postgresql)的ETL、SQL開發(fā),性能調(diào)優(yōu)等;?
5、具備較強(qiáng)的邏輯思維能力、文檔編寫整合能力。