職位描述:
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的規(guī)劃和建設(shè);
2、負(fù)責(zé)制定數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)建模、數(shù)據(jù)處理、數(shù)據(jù)運(yùn)維和數(shù)據(jù)安全等架構(gòu)規(guī)范并落地實(shí)施;
3、設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、BI等數(shù)據(jù)系統(tǒng)建設(shè)、開發(fā);
4、搭建大數(shù)據(jù)平臺(tái)配套的管理后臺(tái);
5、具有較強(qiáng)的學(xué)習(xí)能力,能及時(shí)跟進(jìn)行業(yè)先進(jìn)技術(shù),并研究落地實(shí)踐;
6、指導(dǎo)大數(shù)據(jù)開發(fā)人員、數(shù)據(jù)分析人員進(jìn)行大數(shù)據(jù)項(xiàng)目開發(fā)和數(shù)據(jù)挖掘;
7、配合算法工程師進(jìn)行數(shù)據(jù)模型建立和數(shù)據(jù)深度挖掘;
任職要求:
1、計(jì)算機(jī)相關(guān)專業(yè),五年項(xiàng)目架構(gòu)經(jīng)驗(yàn),至少兩年以上的大數(shù)據(jù)項(xiàng)目架構(gòu)經(jīng)驗(yàn);
2、深入理解大數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析相關(guān)技術(shù)和實(shí)現(xiàn)方法,具有大數(shù)據(jù)中臺(tái)項(xiàng)目經(jīng)驗(yàn);
3、熟練使用hadoop及hadoop生態(tài)圈中的常用組件,如Spark、Hive、zookeeper、Sqoop、Flume、Kafka、Storm、Redis、Spark、Yarn、Impala、HBase、kudu、Presto、solr?等全部或者部分組件,精通其中2-3個(gè);深入理解MapReduce、HDFS、spark?RDD/DataFrame原理;?4、熟悉Strom或者Spark?Streaming等實(shí)時(shí)計(jì)算框架?
5、至少熟悉Java,Python,Scala一種或者多種語(yǔ)言,熟悉Oracle\MySQL,連接NoSql更佳,熟悉Linux及Shell;?
6、熟悉數(shù)據(jù)挖掘、可視化分析,各種BI算法和產(chǎn)品等,具有良好數(shù)據(jù)結(jié)構(gòu)算法原理基礎(chǔ)?
7、有機(jī)器學(xué)習(xí)或深度學(xué)習(xí)經(jīng)驗(yàn)優(yōu)先;?
8、熟悉Spring?Boot,有Spring?Cloud等微服務(wù)相關(guān)項(xiàng)目開發(fā)經(jīng)驗(yàn)優(yōu)先;?
9、有交通行業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)經(jīng)驗(yàn)優(yōu)先;