主要工作
1.主導(dǎo)基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)架構(gòu)的建設(shè),以滿(mǎn)足數(shù)據(jù)倉(cāng)庫(kù)對(duì)時(shí)效性、正確性、可擴(kuò)展性和易用性的要求;
2.通過(guò)分析相關(guān)系統(tǒng),梳理潛在的數(shù)據(jù)源和日志清洗需求,并設(shè)計(jì)合適的、可擴(kuò)展的數(shù)據(jù)模型;
3.開(kāi)發(fā)并維護(hù)數(shù)據(jù)流水線(xiàn),挖掘數(shù)據(jù)中的有價(jià)值信息,發(fā)揮大數(shù)據(jù)價(jià)值,幫助各個(gè)部門(mén)用數(shù)據(jù)驅(qū)動(dòng)決策。
任職要求
1.全日制統(tǒng)招生本科及以上學(xué)歷,計(jì)算機(jī)、數(shù)學(xué)和統(tǒng)計(jì)等相關(guān)專(zhuān)業(yè),2年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn);
2.熟練掌握以下一種或多種語(yǔ)言:Java/Python;熟悉Hadoop和Spark生態(tài)相關(guān)技術(shù),包括hdfs,hive,hbase,flume,sqoop,zookeeper,sparkstreaming等;
3.熟悉Linux操作系統(tǒng),熟練shell腳本優(yōu)先;
4.熟練掌握mysql、MongoDB數(shù)據(jù)庫(kù)的使用;掌握ETL數(shù)據(jù)采集清洗相關(guān)技術(shù);
5.了解數(shù)據(jù)倉(cāng)庫(kù)層次模型,并有完整的數(shù)倉(cāng)建設(shè)經(jīng)驗(yàn);
6.較好的業(yè)務(wù)理解能力和數(shù)據(jù)洞察能力,有用戶(hù)行為分析經(jīng)驗(yàn)優(yōu)先。