崗位職責(zé)：
1、?從事Hadoop、Spark、Hbase、hive、kafka等分布式大數(shù)據(jù)平臺(tái)產(chǎn)品的設(shè)計(jì)和開(kāi)發(fā)；
2、?針對(duì)部門大數(shù)據(jù)業(yè)務(wù)進(jìn)行大數(shù)據(jù)分析、挖掘等產(chǎn)品應(yīng)用的開(kāi)發(fā)；
3、?大數(shù)據(jù)平臺(tái)各類數(shù)據(jù)業(yè)務(wù)抽象及模型化；
4、?參與大數(shù)據(jù)管理平臺(tái)的開(kāi)發(fā)及維護(hù)；
5、?負(fù)責(zé)大數(shù)據(jù)平臺(tái)數(shù)據(jù)實(shí)時(shí)計(jì)算算法和流處理；
6、?負(fù)責(zé)大數(shù)據(jù)平臺(tái)數(shù)據(jù)及相關(guān)的應(yīng)用開(kāi)發(fā)，調(diào)優(yōu)及維護(hù)；
7、?為項(xiàng)目相關(guān)開(kāi)發(fā)人員提供大數(shù)據(jù)技術(shù)指導(dǎo)及解決大數(shù)據(jù)平臺(tái)應(yīng)用中遇到的技術(shù)難題;
8、?有Spark?Streaming、Structured?Streaming、Flink的實(shí)時(shí)計(jì)算經(jīng)驗(yàn)優(yōu)先.
任職要求：
1、3年以上大數(shù)據(jù)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)，本科及以上學(xué)歷；
2、掌握J(rèn)ava、Scala、Python語(yǔ)言開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先；
3、有以下大數(shù)據(jù)平臺(tái)子系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先（元數(shù)據(jù)管理平臺(tái)、取數(shù)即席查詢平臺(tái)、OLAP平臺(tái)、實(shí)時(shí)計(jì)算）
4、熟悉Hadoop大數(shù)據(jù)生態(tài)圈技術(shù)，對(duì)分布式存儲(chǔ)Hdfs,Hive,Hbase等?資源調(diào)度Yarn,Kubernetes,Azkaban等，計(jì)算框架?Spark,Prosto,Hive,Impala等?有相關(guān)源碼研究?jī)?yōu)先。
5、熟悉并掌握離線和實(shí)時(shí)數(shù)據(jù)處理流程，熟練使用Spark，F(xiàn)link處理TB級(jí)數(shù)據(jù)優(yōu)先。
6、熟悉阿里DataWorks，并能通過(guò)阿里EMR+OSS搭建數(shù)據(jù)湖泊優(yōu)先。
7、熟悉Linux環(huán)境，熟悉Mysql、Postgre、MongoDB等常用關(guān)系數(shù)據(jù)庫(kù)，熟練編寫SQL語(yǔ)句；
8、對(duì)大數(shù)據(jù)技術(shù)有強(qiáng)烈興趣，有志于往大數(shù)據(jù)處理方向發(fā)展；工作認(rèn)真踏實(shí)，動(dòng)手和學(xué)習(xí)新技術(shù)能力強(qiáng)。