崗位職責(zé):1、參與超大規(guī)模數(shù)據(jù)快速查詢系統(tǒng)的架構(gòu)設(shè)計和開發(fā);2、大規(guī)模數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)和維護(hù);3、在線和離線海量數(shù)據(jù)分析平臺的開發(fā);4、研究大數(shù)據(jù)前沿技術(shù),提升系統(tǒng)的運(yùn)維效率;5、實(shí)現(xiàn)大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(Hadoop/Spark/MPP?DB)的自動部署和維護(hù)。?任職要求:1.具有3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),至少熟悉一種編程語言(Python/Java/Scala);2.熟悉Hadoop等分布式系統(tǒng)開發(fā),數(shù)據(jù)倉庫技術(shù);3.熟悉HDFS/HBase/Hive/MapReduce,掌握Mapreduce程序開發(fā);4.熟悉分布式系統(tǒng)概念、架構(gòu),有大規(guī)模分布式系統(tǒng)設(shè)計、實(shí)現(xiàn)、部署等經(jīng)驗(yàn);5.有較強(qiáng)的書面與口頭溝通表達(dá)能力,獨(dú)立分析、解決問題的能力,良好的英文讀寫能力良好。加分項(xiàng):1.對安全體系結(jié)構(gòu)有一定了解,有身份認(rèn)證和權(quán)限管理開發(fā)經(jīng)驗(yàn);2.了解JAAS,?SASL優(yōu)先;3.熟悉并行計算或者分布式計算;4.有搜索引擎(如Elasticsearch/Solr/Lucene等)開發(fā)經(jīng)驗(yàn)者;5.熟悉報表工具,ETL工具和數(shù)據(jù)同步工具;6.熟悉編譯原理,具備良好的數(shù)據(jù)結(jié)構(gòu)和算法功底;7.熟悉SQL語言,了解存儲過程和函數(shù);8.熟悉JDBC/ODBC標(biāo)準(zhǔn)。