1.基于hadoop、spark等構(gòu)建數(shù)據(jù)分析平臺，進(jìn)行設(shè)計、開發(fā)分布式計算業(yè)務(wù)；
2.輔助管理Hadoop集群運(yùn)行，穩(wěn)定提供平臺服務(wù)；
3.基于Spark技術(shù)的海量數(shù)據(jù)的處理、分析、統(tǒng)計和挖掘；
4.基于Spark框架的數(shù)據(jù)倉庫的設(shè)計、開發(fā)和維護(hù)；
5.根據(jù)需求使用Spark?Streaming和Spark?SQL進(jìn)行數(shù)據(jù)處理、查詢和統(tǒng)計等工作。
崗位要求：
1.大專及以上學(xué)歷，計算機(jī)相關(guān)專業(yè)；
2.三年及以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)；
3.熟悉HDFS/HBase/Hive/MapReduce/spark，有豐富的分布式編程經(jīng)驗(yàn)；
4.熟悉Spark?Streaming和Spark?SQL；
5.熟悉Core?Java，熟悉Java?IO,?NIO,?多線程編程，?熟悉JVM運(yùn)行機(jī)制和內(nèi)存管理，網(wǎng)絡(luò)協(xié)議；
6.熟練掌握Linux操作系統(tǒng)，熟悉shell等腳本編程；
7.有在Spark相關(guān)項(xiàng)目中應(yīng)用Java或Python語言的經(jīng)驗(yàn)者優(yōu)先；
8.有過海量數(shù)據(jù)系統(tǒng)開發(fā)經(jīng)驗(yàn)者優(yōu)先；
9.有良好的語言溝通能力，能夠協(xié)調(diào)團(tuán)隊(duì)成員及相關(guān)部門開展分工及合作。
