崗位職責:
1、負責和參與公司大數(shù)據(jù)基礎架構(gòu)平臺的建設,保障數(shù)據(jù)平臺服務的穩(wěn)定性和可用性;?
2、對接車行、人行上游系統(tǒng),實現(xiàn)數(shù)據(jù)集成,產(chǎn)出全量、增量和實時數(shù)據(jù);
3.?負責基于Hadoop、Spark平臺的海量數(shù)據(jù)處理、數(shù)據(jù)計算、數(shù)據(jù)開發(fā);
4.?負責高并發(fā)、高可用性、高可擴展性的線上數(shù)據(jù)系統(tǒng)開發(fā);
5.?負責智能業(yè)務大數(shù)據(jù)需求分析以及業(yè)務模型梳理等工作;
6.?跟蹤和調(diào)研大數(shù)據(jù)處理和分析的新技術(shù),推動大數(shù)據(jù)平臺技術(shù)持續(xù)演進;
任職資格:
1、計算機及相關(guān)專業(yè),本科及以上學歷
2、五年以上大數(shù)據(jù)平臺架構(gòu)及ETL相關(guān)經(jīng)驗,可獨立搭建/運維CDH/Spark/flink整套平臺架構(gòu);
3、精通SQL,熟練使用hive?,mysql等數(shù)據(jù)庫;
4、精通Python/Java/Scala/Shell等語言中兩種以上
5、熟悉Spark/Hadoop/Hive/Flink/Hbase/ZK/YARN等三種以上開源框架的原理和源碼;
6、有市場上成熟的大數(shù)據(jù)平臺產(chǎn)品實際架構(gòu)/開發(fā)經(jīng)驗優(yōu)先。
7、熟悉神經(jīng)網(wǎng)絡理論,掌握算法(如線性和邏輯回歸、決策樹、隨機森林、支持向量機、圖形模型、神經(jīng)網(wǎng)絡、異常檢測等)等優(yōu)先考慮。
8.?有特征工程、機器學習、數(shù)據(jù)挖掘、推薦系統(tǒng)經(jīng)驗者優(yōu)先;