高級數(shù)據(jù)工程師
崗位職責:
1、負責/參與數(shù)據(jù)庫/數(shù)據(jù)倉庫的長期架構規(guī)劃;
2、負責/參與關系型數(shù)據(jù)庫、NOSQL、Hadoop環(huán)境的搭建、配置、管理、維護、優(yōu)化;
3、負責/參與大數(shù)據(jù)平臺架構技術架構設計、重構、優(yōu)化,根據(jù)業(yè)務規(guī)劃及技術規(guī)劃制定架構方案;
4、負責/參與大并發(fā)業(yè)務架構的設計、評審、優(yōu)化;
5、在線業(yè)務故障的排查;
6、開發(fā)人員的培訓、SQL指導、數(shù)據(jù)算法實現(xiàn);
7、大規(guī)模數(shù)據(jù)挖掘和機器學習算法的實現(xiàn)和維護;
8、在線和離線海量數(shù)據(jù)分析平臺的開發(fā);
9、負責數(shù)據(jù)倉庫的建設和維護,包括需求調(diào)研分析、軟件規(guī)劃、概念模型、設計邏輯、物理模型、數(shù)據(jù)處理(抽取、清洗、轉化)、項目實施管控等
任職要求:
1、熟悉主流關系型數(shù)據(jù)庫ORACLE\MYSQL\SQLSERVER原理及高可用體系
2、熟悉NOSQL數(shù)據(jù)庫MONGODB\REDIS原理及高可用
3、熟悉數(shù)據(jù)建模、ETL設計與應用、報表開發(fā)等,熟練掌握2~3款ETL和報表開發(fā)工具;具有良好的編程習慣和文檔編寫習慣;?
4、對大數(shù)據(jù)基礎架構和平臺有深刻理解,對基于Hadoop的大數(shù)據(jù)體系有深入認識,具備相關產(chǎn)品(Hadoop、Hive、HBase、Pig、Sqoop、Spark等)項目應用研發(fā)經(jīng)驗,有MapReduce開發(fā)的實戰(zhàn)經(jīng)驗;
5、精通數(shù)據(jù)庫性能優(yōu)化
6、精通數(shù)據(jù)庫設計
7、精通SQL語句
8、熟悉linux系統(tǒng)
9、熟練掌握java、shell、python任意2種以上語言
10、2年以上數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)或BI系統(tǒng)實施經(jīng)驗;