職位描述:
1.基于Hive,?Spark,Hadoop的計(jì)算架構(gòu),進(jìn)行大數(shù)據(jù)開發(fā)工作;
2.在分布式集群上進(jìn)行Hive和Spark數(shù)據(jù)開發(fā);
3.能夠定位數(shù)據(jù)計(jì)算任務(wù)的瓶頸并進(jìn)行性能優(yōu)化;
4.參與數(shù)據(jù)倉庫設(shè)計(jì)與開發(fā)建設(shè)。
職位要求:
1.計(jì)算機(jī)、軟件工程、大數(shù)據(jù)、云計(jì)算或數(shù)學(xué)等相關(guān)專業(yè)本科及以上學(xué)歷,有一年及以上spark實(shí)際開發(fā)經(jīng)驗(yàn);
2.熟練使用Spark做大數(shù)據(jù)開發(fā);
3.熟悉Hadoop大數(shù)據(jù)生態(tài)圈,熟練使用HDFS、MapReduce、Hive、Hbase等;
4.熟練Linux操作命令,能編寫常用Shell腳本;
5.熟練掌握MYSQL等關(guān)系型數(shù)據(jù)庫及常用SQL;
6、熟練掌握Scala或python一種開發(fā)開發(fā)語言,
7.對大數(shù)據(jù)技術(shù)有鉆研熱情,具備高度的責(zé)任心及團(tuán)結(jié)協(xié)作精神,善于溝通交流;
8.有機(jī)器學(xué)習(xí)經(jīng)驗(yàn)者優(yōu)先考慮。