崗位職責(zé):
1、負(fù)責(zé)調(diào)研、分析客戶需求,分解、指派工程師完成基于Hadoop的應(yīng)用開發(fā)工作;
2、負(fù)責(zé)大數(shù)據(jù)應(yīng)用體系搭建與運(yùn)維;
3、把握復(fù)雜分布式系統(tǒng)的設(shè)計(jì)、開發(fā)、維護(hù)全過程,不斷進(jìn)行系統(tǒng)優(yōu)化?;
4、指導(dǎo)初中級(jí)工程師完成編程工作,培訓(xùn)并提高初中級(jí)工程師編程能力;
5、主導(dǎo)維護(hù)和管理Hadoop集群,參與新技術(shù)選型和調(diào)研,解決不斷增長(zhǎng)的海量數(shù)據(jù)帶來的存儲(chǔ)和計(jì)算挑戰(zhàn);
崗位要求:
1、2年以上CDH平臺(tái)開發(fā)實(shí)施經(jīng)驗(yàn),1年以上技術(shù)Leader崗位經(jīng)驗(yàn);
2、主導(dǎo)過運(yùn)用Hadoop及相關(guān)產(chǎn)品對(duì)海量數(shù)據(jù)處理的項(xiàng)目;
3、熟悉HDFS、MR原理,精通MapReduce?java開發(fā)或者Hadoop?Streaming開發(fā);
4、熟悉Linux環(huán)境,熟悉Linux?shell/python/perl任一腳本;
5、熟悉Hive、Pig、HBase、redis、sqoop、flume等開源項(xiàng)目,了解HBase原理;
7、良好的溝通能力和團(tuán)隊(duì)組織管理能力,能獨(dú)立解決問題;
具有以下能力者優(yōu)先考慮:
1、具有海量的大數(shù)據(jù)平臺(tái)經(jīng)驗(yàn);
2、了解Hadoop平臺(tái)的流式計(jì)算框架,如storm、kafka等;
3、有搜索引擎相關(guān)經(jīng)驗(yàn),熟練掌握Solr、Lily等框架;
4、有在Hadoop、HBase等開源社區(qū)修改或者提交過代碼。