1、完成公司數(shù)據(jù)平臺技術(shù)架構(gòu)、工程落地和技術(shù)演進。支撐數(shù)據(jù)倉庫、端到端實時流式計算分析、高性能多維分析、報表中心、自助查詢分析等需求。
2、主導(dǎo)大數(shù)據(jù)營銷分析平臺的架構(gòu)和工程落地。
3、主導(dǎo)個性化推薦(內(nèi)容推薦)系統(tǒng)技術(shù)架構(gòu)和工程落地。
4、主導(dǎo)推動公司智能和算法能力的建設(shè),支撐TB級聊天文本、內(nèi)容圖片、視頻等數(shù)據(jù)檢索、分析挖掘及標簽化,累計3000萬+次醫(yī)美場景會話咨詢聊天。
崗位要求:
1、精通CDH、HDP等Hadoop生態(tài)系統(tǒng)發(fā)行版,進行平臺的安裝、部署、維護。
2、熟悉阿里云大數(shù)據(jù)生態(tài),熟練使用E-MapReduce、MaxCompute、實時計算(Flink)、數(shù)據(jù)集成、日志服務(wù)、DataV、QuickBI等等。
3、精通Hadoop、Hive、Hbase、kafka、Spark、Flink、Flume、Sqoop、Ozzie、Tez、Hue、Azkanban、DataX、Kylin、Druid、ES、Superset等大數(shù)據(jù)組件的使用和調(diào)優(yōu)。
4、深刻理解大數(shù)據(jù)平臺安全機制、熟練使用Kerberos、Ranger以及血緣分析組件Atlas。
5、需要有用戶標簽、畫像、個性化推薦等系統(tǒng)的工程經(jīng)驗,有過數(shù)據(jù)治理相關(guān)經(jīng)驗優(yōu)先。