職位描述1、負責大數(shù)據(jù)平臺架構(gòu)設(shè)計(hadoop,spark)撰寫設(shè)計文檔,集群搭建、性能調(diào)優(yōu),提高穩(wěn)定性;2、能夠針對源碼進行bug修復(fù)和設(shè)計需求進行調(diào)整;3、負責解決大數(shù)據(jù)平臺開發(fā)與運維問題的總體思路;4、為大數(shù)據(jù)平臺開發(fā)團隊提供技術(shù)支持,解決技術(shù)難題;任職要求:1、有Hadoop系統(tǒng)架構(gòu)設(shè)計經(jīng)驗,有成熟項目的經(jīng)驗;2、熟悉UML,架構(gòu)設(shè)計原則,設(shè)計模式等;3、精通Hadoop部署、開發(fā)、運維、管理優(yōu)化;4、精通hadoop,Hbase核心架構(gòu)和運作原理及性能調(diào)優(yōu),讀過?Hadoop?,Hbase?核心代碼;5、精通Java編程,熟悉腳本語言(Shell/Python/Perl其中一種);6、熟悉實時分析框架如Storm、Spark?Streaming;7、熟悉hadoop生態(tài)圈周圍產(chǎn)品,包括Spark、Hive、Flume、Kafka?、Zookeeper、oozie?等等;