主要職責(zé):
負責(zé)大數(shù)據(jù)平臺的建設(shè)、運維,為數(shù)據(jù)應(yīng)用開發(fā)人員提供支持;
1、負責(zé)大數(shù)據(jù)平臺日常維護工作,包括平臺監(jiān)控、應(yīng)急響應(yīng)、數(shù)據(jù)備份、定期擴容及集群性能優(yōu)化等;
2、深入理解業(yè)務(wù)邏輯,完成數(shù)據(jù)模型設(shè)計及優(yōu)化工作;
3、完成海量數(shù)據(jù)的獲取、清洗、分類、整合等數(shù)據(jù)處理工作并幫助公司梳理業(yè)務(wù)表邏輯;
4、負責(zé)集群容量規(guī)劃、擴容及性能調(diào)節(jié)優(yōu)化;
5、參與業(yè)務(wù)架構(gòu)設(shè)計,在設(shè)計階段給出可運維性及可擴展性方面的改進建議;
6、負責(zé)平臺部署、遷移、版本管理、測試驗收上線管理以及各類文檔的撰寫;
7、研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運維技術(shù),持續(xù)優(yōu)化集群服務(wù)架構(gòu),探索新的大數(shù)據(jù)運維技術(shù)及發(fā)展方向;
任職要求:
1、具備全日制本科或以上學(xué)歷,計算機及相關(guān)專業(yè),2年及以上相關(guān)開發(fā)經(jīng)驗,年齡30周歲以內(nèi)優(yōu)先考慮;
2、精通大數(shù)據(jù)技術(shù)生態(tài)圈相關(guān)的技術(shù),包括但不限于Hadoop,?Hbase,?Hive、Impala,?Spark,?Yarn等;
3、有2年以上Hadoop相關(guān)運維開發(fā)經(jīng)驗,深入理解Hadoop各組件的原理,具備實際部署、維護經(jīng)驗;
4、熟悉主流數(shù)據(jù)庫,oracle/mysql/postgresql等;
5、具有實際大規(guī)模數(shù)據(jù)(TB級以上)處理經(jīng)驗;
6、深刻理解數(shù)據(jù)倉庫實施方法論、具備數(shù)據(jù)倉庫平臺架構(gòu)設(shè)計、項目實施經(jīng)驗者優(yōu)先;
7、2年以上軟件開發(fā)經(jīng)驗,扎實的Java編程基礎(chǔ),?精通一門以上腳本語言(shell/perl/python等);
8、深入理解linux系統(tǒng),運維體系結(jié)構(gòu),精于容量規(guī)劃、架構(gòu)設(shè)計、性能優(yōu)化;
9、具備優(yōu)秀的故障排查能力,有很好的技術(shù)敏感度和風(fēng)險識別能力;
10、良好的服務(wù)意識,善于團隊協(xié)作,主動思考,自我驅(qū)動力強;