【崗位職責(zé)】
??1.?圍繞“庫、倉、湖一體化”戰(zhàn)略目標(biāo),以LakeHouse湖倉一體為技術(shù)方向,圍繞K8S和OSS對象存儲為核心技術(shù)底座,構(gòu)建數(shù)據(jù)湖分析平臺的“開放存儲管理”,“開放處理”能力,為用戶提供統(tǒng)一全域數(shù)據(jù)的數(shù)據(jù)處理能力;
??2.?圍繞LakeHouse湖倉一體的方向,為數(shù)據(jù)湖客戶提供各種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)高效入湖建倉的能力,簡化客戶數(shù)據(jù)入湖的難度,降低成本等;
??2.?在開發(fā)存儲管理基礎(chǔ)上,以k8s為基礎(chǔ)平臺,構(gòu)建Presto分析和Spark計算分析能力,從而提供端到端、有產(chǎn)品競爭力的LakeHouse方案;
??【崗位要求】
??1.?計算機或相關(guān)專業(yè)本科學(xué)歷,三年以上相關(guān)工作經(jīng)驗,熟悉操作系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)庫、文件系統(tǒng)等計算機領(lǐng)域基礎(chǔ)知識,有良好的工程基礎(chǔ);
??2.?編程基礎(chǔ)扎實,擅長Java編程,熟悉多線程、I/O、常用數(shù)據(jù)結(jié)構(gòu)、web開發(fā)、緩存、分布式架構(gòu)、中間件等技術(shù),熟悉JVM基本原理和調(diào)優(yōu)手段,熟悉主流J2EE開源框架并了解原理和機制,如Spring、Mybatis等;
??3.?熟悉主流的分析引擎,如Presto、Spark、Hive等,有相關(guān)產(chǎn)品的開發(fā)經(jīng)驗者優(yōu)先;
??4.?熟悉存儲相關(guān)的設(shè)計和原理,包括數(shù)據(jù)格式、壓縮編碼、索引、緩存、加密、生命周期管理等等,有MySQL?innodb、Hbase、HDFS、Hudi、Deltalake、Iceberg、Parquet、ORC、Aws?S3、Azure?Storage、Ceph等存儲相關(guān)產(chǎn)品的開發(fā)經(jīng)驗者優(yōu)先;
??5.?有其他一種或多種其他常見數(shù)據(jù)庫、大數(shù)據(jù)、NoSQL、流計算、消息、服務(wù)化、存儲、調(diào)度、緩存、數(shù)據(jù)鏈路等大型系統(tǒng)的架構(gòu)和開發(fā)經(jīng)驗者優(yōu)先;
??6.?有較為豐富的數(shù)據(jù)倉庫及大數(shù)據(jù)平臺的架構(gòu)經(jīng)驗,具備大數(shù)據(jù)平臺的開發(fā)和設(shè)計能力,搭建過大數(shù)據(jù)系統(tǒng),具備豐富的數(shù)據(jù)處理和應(yīng)用實戰(zhàn)經(jīng)驗;
??7.?有較為豐富的k8s使用經(jīng)驗,搭建過k8s系統(tǒng),具備豐富的應(yīng)用實戰(zhàn)經(jīng)驗;
??8.?良好的溝通和團(tuán)隊協(xié)作能力,能夠熟練編寫各類技術(shù)文檔,有良好的客戶服務(wù)意識和能力;