一、崗位職責(zé):?1、負(fù)責(zé)搭建并維護(hù)公司大數(shù)據(jù)系統(tǒng):Hadoop集群及HBase/Hive集群,?保證其高可用性和穩(wěn)定性;?2、負(fù)責(zé)生產(chǎn)數(shù)據(jù)系統(tǒng)的數(shù)據(jù)接入大數(shù)據(jù)系統(tǒng)的規(guī)劃和實(shí)施;?3、負(fù)責(zé)設(shè)計(jì)實(shí)現(xiàn)可支撐公司業(yè)務(wù)增長需要的Hadoop/HBase/Hive集群運(yùn)維平臺與工具;?4、負(fù)責(zé)公司大數(shù)據(jù)系統(tǒng)各個組件(包括Hadoop集群,HBase集群,Hive集群等)的業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃等;?5、研究Hadoop集群運(yùn)維相關(guān)技術(shù),持續(xù)優(yōu)化集群架構(gòu),發(fā)現(xiàn)并解決重大故障及性能瓶頸二、崗位要求:?1、深入理解linux操作系統(tǒng),能夠獨(dú)立解決Linux系統(tǒng)問題;?2、熟練掌握一種主流腳本語言(shell、python);?3、對hadoop的Map/Reduce原理有研究,具備一定Hadoop/Hbase開發(fā)經(jīng)驗(yàn);?4、熟悉Hadoop,HBase,Hive?相關(guān)技術(shù),能夠獨(dú)立安裝、配置和集成相關(guān)組件:Hadoop、Hive、HBase、Zookeeper、kafka、elasticsearch等;?5、熟悉大數(shù)據(jù)相關(guān)的技術(shù),Hadoop/hbase作為內(nèi)容存儲,Nosql技術(shù)作為元數(shù)據(jù)存儲,數(shù)據(jù)采集用到flume,數(shù)據(jù)交換使用kafka?6、具備較強(qiáng)的故障排查能力,有很好的技術(shù)敏感度和風(fēng)險(xiǎn)識別能力;?7、能夠快速熟悉公司業(yè)務(wù),并把大數(shù)據(jù)系統(tǒng)分析應(yīng)用到不同公司業(yè)務(wù)場景中;?8、有互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用經(jīng)驗(yàn)者優(yōu)先。歡迎應(yīng)屆生加入!