職位描述:
崗位職責:
1.大數(shù)據(jù)平臺發(fā)展規(guī)劃系統(tǒng)架構(gòu);
(1)評估業(yè)界大數(shù)據(jù)平臺優(yōu)缺點并選擇合適技術(shù)用于國政通大數(shù)據(jù)平臺規(guī)劃;
(2)研究并理解業(yè)界新技術(shù)及發(fā)展方向,保證國政通大數(shù)據(jù)平臺與時俱進;
(3)項目相關(guān)大數(shù)據(jù)基礎(chǔ)架構(gòu)設(shè)計及支持。
2.國政通大數(shù)據(jù)平臺基礎(chǔ)平臺搭建、優(yōu)化、分布式存儲及數(shù)據(jù)結(jié)構(gòu)設(shè)計:
(1)規(guī)劃部署國政通大數(shù)據(jù)平臺硬件及詳細架構(gòu);
(2)維護國政通大數(shù)據(jù)平臺;
(3)優(yōu)化平臺已有問題,不斷提高系統(tǒng)功能及性能;
(4)支持項目任務中涉及到的大數(shù)據(jù)平臺設(shè)計架構(gòu)工作;
(5)大數(shù)據(jù)平臺手冊文檔流程制定。
3.建模分析平臺中數(shù)據(jù)的相關(guān)性和關(guān)聯(lián)性,并根據(jù)產(chǎn)品及研發(fā)需求清洗數(shù)據(jù):
(1)完成國政通現(xiàn)有數(shù)據(jù)接入大數(shù)據(jù)平臺;
(2)進行接入數(shù)據(jù)的處理,并根據(jù)產(chǎn)品需求業(yè)務需求進行數(shù)據(jù)建模加工清洗;
(3)數(shù)據(jù)相關(guān)不超過總工作量10%的研發(fā)任務;
(4)配合實現(xiàn)數(shù)據(jù)可視化。
4.評估大數(shù)據(jù)相關(guān)項目技術(shù)可行性,并根項目實際情況形成解決方案:
(1)內(nèi)部對接大數(shù)據(jù)項目技術(shù)需求,評估技術(shù)可行性;
(2)根據(jù)項目需求利用國政通內(nèi)外部資源形成項目解決方案;
(3)與國政通外部資源進行技術(shù)對接;
(4)落地內(nèi)外部大數(shù)據(jù)項目。
5.完成領(lǐng)導交辦的其他工作。
任職資格:
1.??埔陨蠈W歷,通信、電子工程、自動化、計算機及其相關(guān)專業(yè)畢業(yè);
2.1年以大數(shù)據(jù)相關(guān)工作經(jīng)驗,具有5年以上架構(gòu)設(shè)計經(jīng)驗,有基本數(shù)據(jù)分析處理經(jīng)驗。
3.精通數(shù)據(jù)倉庫實施方法論、深入了解數(shù)據(jù)倉庫體系架構(gòu);
4.對大數(shù)據(jù)相關(guān)技術(shù)有深入了解,如HDFS,MR,Zookeeper,Hive,Spark,Storm,Elasticsearch,等;
5.熟悉數(shù)據(jù)庫Oracle、MySQL?及數(shù)據(jù)結(jié)構(gòu)技術(shù),熟悉?Mongodb,Cassandra,?Hbase,?Redis等NoSQL技術(shù);
6.有數(shù)據(jù)模型建立和運營經(jīng)驗、數(shù)據(jù)化運營經(jīng)驗、數(shù)據(jù)類產(chǎn)品類規(guī)劃經(jīng)驗;熟悉數(shù)據(jù)采集、統(tǒng)計分析、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、數(shù)據(jù)可視化、推薦系統(tǒng)等相關(guān)領(lǐng)域知識與算法;
7.具有數(shù)據(jù)超過10Tb架構(gòu)的實際操作經(jīng)驗,理解大數(shù)據(jù)分布式優(yōu)缺點,熟悉整個大數(shù)據(jù)的處理流程,包括數(shù)據(jù)的管理,數(shù)據(jù)的分析挖掘,建模,服務器擴展;
8.熟悉Web應用,移動應用等用戶行為分析模型,熟悉常用的數(shù)據(jù)挖掘技術(shù),如路徑分析,關(guān)聯(lián)規(guī)則挖掘,聚類分類技術(shù)等關(guān)鍵技術(shù)攻關(guān)的能力;
9.語言表達和思維邏輯清晰、性格樂觀較外向、溝通能力強、書面表達能力強。