崗位職責(zé):
1、參與大數(shù)據(jù)項(xiàng)目服務(wù)端程序的設(shè)計(jì)及開發(fā)工作;
2、負(fù)責(zé)大數(shù)據(jù)項(xiàng)目數(shù)據(jù)接入,清洗,處理,對(duì)接等工作;
3、解決ETL相關(guān)技術(shù)問題;
?
任職要求:
1、 計(jì)算機(jī)相關(guān)專業(yè),統(tǒng)招本科及以上學(xué)歷;
2、 熟練使用Java,3年以上Java開發(fā)經(jīng)驗(yàn),1年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn);
3、 熟悉分布式系統(tǒng)架構(gòu),對(duì)dubbo等分布式RPC框架有使用經(jīng)驗(yàn)者優(yōu)先;
4、 精通各種網(wǎng)絡(luò)通訊協(xié)議,熟悉Socket/TCP/UDP/IP/P2P等網(wǎng)絡(luò)開發(fā)技術(shù);
5、 熟悉RMI、多線程并發(fā)編程,有實(shí)際的socket,?nio,?mina,netty等tcp/ip服務(wù)器端開發(fā)經(jīng)驗(yàn);
6、 熟悉Flume、Logstash、Kettle、DataX等ETL工具,有二次開發(fā)經(jīng)驗(yàn)者優(yōu)先;
7、有ETL項(xiàng)目開發(fā)和實(shí)施經(jīng)驗(yàn),掌握數(shù)據(jù)倉庫相關(guān)知識(shí)、ETL數(shù)據(jù)流程設(shè)計(jì)、模型設(shè)計(jì)等;具有大數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先;
8、熟悉elasticsearch,kafka,Hadoop,redis;了解主流大數(shù)據(jù)處理技術(shù),如:spark、Sqoop、Hbase、Hive等;
9、積極上進(jìn),責(zé)任心強(qiáng),具備良好的團(tuán)隊(duì)合作精神;
10、熟悉Linux環(huán)境開發(fā),熟悉常用SHELL命令。