1、負責公司大數(shù)據(jù)整體方案的設計和規(guī)劃,包括大數(shù)據(jù)應用平臺的設計、搭建和持續(xù)優(yōu)化;
2、參與計算框架和服務的定制和改進,為公司在線實時計算能力提供技術支撐;
3、基于業(yè)務需求和應用場景,設計和實現(xiàn)公司大數(shù)據(jù)相關產(chǎn)品;
4、負責設計,開發(fā),優(yōu)化數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)計算服務框架;
5、負責優(yōu)化分布式框架,解決大并發(fā)下的各種問題;
6、為公司所有業(yè)務線提供數(shù)據(jù)支持和服務;
7、參與大數(shù)據(jù)應用相關解決方案的設計,并負責技術方案的撰寫;
8、負責對公司數(shù)據(jù)倉庫進行規(guī)劃和管理;
9、根據(jù)公司要求對相關數(shù)據(jù)進行分析、挖掘和報告呈現(xiàn);
10、積極探索與研究大數(shù)據(jù)相關新技術,持續(xù)改進大數(shù)據(jù)分析系統(tǒng)架構;
11、完成公司及部門領導安排的其他工作事務。
任職要求:
?1、具有5年以上Java開發(fā)經(jīng)驗,具備3年以上大數(shù)據(jù)開發(fā)經(jīng)驗;
?2、能獨立搭建CDH、Ambari平臺,并運用平臺進行服務安裝、部署和監(jiān)控;能夠解決安裝部署和監(jiān)控中發(fā)現(xiàn)的問題,維護過上百個物理節(jié)點;
?3、熟悉Linux系統(tǒng)和windows系統(tǒng),掌握Oracle、MYSQL等主流數(shù)據(jù)庫,?能夠熟練運用SQL語言;
?4、精通TCP技術,能夠熟練應用Netty等框架完成項目開發(fā),并能夠排除問題;
?5、具備Hadoop/Hbase/Hive/Spark/Sqoop/Flume/Kafka/Storm/Zookeeper/Redis/SeaweedFS等大規(guī)模(100臺以上)集群運維經(jīng)驗者優(yōu)先;
?6、熟練掌握Hadoop、Kafka、Zookeeper、Storm、Spark、Hbase、Hive、ElasticSearch等大數(shù)據(jù)開發(fā)技術和調優(yōu);
?7、能夠獨立解決大數(shù)據(jù)數(shù)據(jù)平臺存在的問題;.能夠獨立解決大數(shù)據(jù)數(shù)據(jù)平臺存在的問題;
?8、規(guī)范化的編程風格,較強的獨立工作能力和團隊協(xié)作精神;?
?9、具備重大及疑難故障的處理能力,保證故障和業(yè)務的快速恢復;
?10、具有較強的溝通表達能力,具有較強的責任心和安全保密意識;?
?11、具有一定的寫作能力,能獨立完成相應制度、方案和報告的撰寫。