崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)ETL的開發(fā),維護(hù)數(shù)據(jù)的完整生命周期;
2.負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)(實(shí)時(shí)/離線數(shù)據(jù)倉(cāng)庫(kù))的建模,開發(fā),維護(hù)等;
2.?公司報(bào)表(BI)系統(tǒng)的設(shè)計(jì),開發(fā),維護(hù);
3?開發(fā)大數(shù)據(jù)平臺(tái)自動(dòng)化運(yùn)維、監(jiān)控報(bào)警、故障處理相關(guān)工具和組件;
4.?維護(hù)線上系統(tǒng)的穩(wěn)定性、可靠性,能夠快速定位問(wèn)題,提出優(yōu)化方案并實(shí)施;
5.?新數(shù)據(jù)業(yè)務(wù)(實(shí)時(shí)業(yè)務(wù)/數(shù)據(jù)服務(wù)等)的落地能力,能夠快速的分析需求并轉(zhuǎn)化為實(shí)際工作內(nèi)容;
任職要求:
1.至少3年的工作經(jīng)驗(yàn);
2.熟悉java語(yǔ)言或者python語(yǔ)言,熟悉JVM原理及常見的數(shù)據(jù)結(jié)構(gòu)和算法;
3.熟悉hadoop、hive、hbase、kafka、kylin等大數(shù)據(jù)周邊組件,了解原理,并能優(yōu)化;
4.了解Elasticsearch技術(shù)、原理并能對(duì)其優(yōu)化,使用過(guò)ES的API特性;
5.熟悉數(shù)據(jù)的ETL開發(fā),包括數(shù)據(jù)的離線和實(shí)時(shí)處理,開發(fā)過(guò)MR、Spark/Flink/Storm等相關(guān)任務(wù)作業(yè);
6.熟悉sql語(yǔ)句及調(diào)優(yōu),了解至少一門腳本語(yǔ)言,python或者shell,能夠編寫腳本任務(wù);
7.熟悉數(shù)據(jù)倉(cāng)庫(kù)建設(shè)或者數(shù)據(jù)平臺(tái)開發(fā)建設(shè),有過(guò)數(shù)據(jù)中臺(tái)建設(shè)經(jīng)驗(yàn)的優(yōu)先考慮;
8.對(duì)數(shù)據(jù)敏感,有較強(qiáng)的責(zé)任心和獨(dú)立解決問(wèn)題的能力;