崗位要求
1、扎實的Java、Scala語言基礎(chǔ)，對JVM運行機(jī)制有深入了解；
2、有hadoop和spark實際開發(fā)經(jīng)驗。了解大數(shù)據(jù)組件的使用限制和應(yīng)用場景，如hdfs,yarn,hbase,hive,flume,kafka,zk,ES,Storm等
3、熟悉mysql、ElasticSearch、Redis等關(guān)系型或NoSQL數(shù)據(jù)庫，了解應(yīng)用場景和使用限制。有實際調(diào)優(yōu)經(jīng)驗者更佳。
以下優(yōu)先考慮：
1、熟悉并行計算或者分布式計算，熟悉Spark框架,熟練掌握RDD，SQL,?Streaming,?MLLIB編程；
2、有深入研究過Hadoop/Spark源碼者優(yōu)先；
3、深入理解HDFS分布式文件系統(tǒng)架構(gòu)；熟練掌握Hadoop/Hive/HBASE的運維和調(diào)優(yōu)方法；
4、熟悉linux常用命令，有實際HDP或apache版本的hadoop部署經(jīng)驗者優(yōu)先；
5、掌握或使用過Storm、Spark、flume、kafka等工具；
6、5年以上大數(shù)據(jù)相關(guān)工作經(jīng)驗，參與并成功部署過2個日均TB級的集群項目。
