崗位職責:
1、該崗位主要負責大數(shù)據(jù)平臺架構(gòu)的開發(fā)和維護,負責海量據(jù)的處理、分析、挖掘;
2、負責大數(shù)據(jù)平臺產(chǎn)品開發(fā);
3、負責高并發(fā)、大存儲的數(shù)據(jù)系統(tǒng),實時計算處理系統(tǒng)的研發(fā);
4、負責海量數(shù)據(jù)的處理、分析、挖掘;
5、負責SQL?on?Hadoop?組件、BI引擎開發(fā)與優(yōu)化;
6、完成上級領導交辦的臨時性工作任務。
任職資格:
1、具備扎實的JAVA語言基礎,擁有JAVA項目開發(fā)經(jīng)驗;
2、熟悉Hadoop、Hive、Spark開發(fā)編程,或者具有其他并行計算的實踐經(jīng)驗;
3、至少熟練使用Hive、Impala、Presto、SparkSQL其中一種,能夠理解內(nèi)部運行邏輯;
4、熟悉Presto、Kylin、Spark等開源大數(shù)據(jù)處理工具或計算引擎,并構(gòu)建過相關(guān)應用開發(fā),具有源碼修改和性能調(diào)優(yōu)能力者優(yōu)先。
5、至少熟練使用主流關(guān)系數(shù)據(jù)庫(Oracle、Mysql、DB2、SqlServer等)中的一種,熟悉SQL優(yōu)化,熟悉PL/SQL編程;
6、理解分布式緩存機制,熟悉或使用過Redis、Memcached;
7、具備良好的邏輯思維,學習能力強,有創(chuàng)新精神,善于學習鉆研新技術(shù),良好的團隊合作意識。
具有以下條件者優(yōu)先:
1、一年以上大數(shù)據(jù)處理、大數(shù)據(jù)分析經(jīng)驗;
2、一年以上Hadoop?相關(guān)項目實際研發(fā)經(jīng)驗,如Hadoop、Hive、Spark等;
3、熟悉Hadoop、Hive、Spark?底層API調(diào)用,或者對Hadoop、Hive、Spark源碼有深入研究和工作經(jīng)驗者;
4、熟悉開源多維分析工具,如Presto、Kylin、Mondrian,具有BI引擎開發(fā)與優(yōu)化。