1、負(fù)責(zé)日常的運(yùn)維,包括大數(shù)據(jù)系統(tǒng)監(jiān)控、優(yōu)化、故障排查、應(yīng)急預(yù)案等,保障業(yè)務(wù)環(huán)境的穩(wěn)定性和可靠性。
??2、負(fù)責(zé)hadoop大數(shù)據(jù)系統(tǒng)的日常部署、升級(jí)、擴(kuò)容、遷移。
??3、負(fù)責(zé)數(shù)據(jù)庫(kù)故障的診斷和定位、排障以及巡檢。
??4、負(fù)責(zé)日常大數(shù)據(jù)平臺(tái)運(yùn)維工作中疑難問(wèn)題的深入分析和解決,并構(gòu)建常見(jiàn)問(wèn)題。
??5、為其他數(shù)據(jù)庫(kù)工程師提供技術(shù)支持。
??6、參與公司數(shù)據(jù)產(chǎn)品的設(shè)計(jì)和開(kāi)發(fā)。
??技術(shù)要求:
??1、本科以上學(xué)歷,計(jì)算機(jī)、軟件相關(guān)專業(yè),2年以上大數(shù)據(jù)平臺(tái)或者數(shù)據(jù)分析、處理方向工作經(jīng)驗(yàn)。
??2、具備JAVA編程能力,熟悉集合、socket、io、多線程等基礎(chǔ)框架。
??3、熟悉Hadoop/Hive/Hbase?原理及運(yùn)維、調(diào)優(yōu)方法。
??4、熟悉主流大數(shù)據(jù)產(chǎn)品(hadoop、spark、flume等)和數(shù)據(jù)分析技術(shù)(機(jī)器學(xué)習(xí))并具有相關(guān)實(shí)際項(xiàng)目經(jīng)驗(yàn)。
??5、有較強(qiáng)的ETL性能優(yōu)化及問(wèn)題排查、解決能力。
??6、具備扎實(shí)的Linux系統(tǒng)原理知識(shí),熟悉CentOS系統(tǒng)安裝部署、日常維護(hù)、參數(shù)調(diào)整優(yōu)化等;熟悉Mysql等常見(jiàn)服務(wù)的安裝配置、日常維護(hù)等,熟悉網(wǎng)絡(luò)相關(guān)知識(shí);熟悉Shell等腳本語(yǔ)言,python或R至少精通一門(mén);熟悉日志搜集分析處理系統(tǒng)如Elasticsearcht安裝部署、配置等。
??7、有知識(shí)圖譜技術(shù)實(shí)際開(kāi)發(fā)及應(yīng)用經(jīng)驗(yàn)者優(yōu)先。