工作職責(zé):
參與大數(shù)據(jù)平臺(tái)/倉(cāng)庫(kù)項(xiàng)目實(shí)施與開(kāi)發(fā)
1數(shù)據(jù)開(kāi)發(fā):各類(lèi)數(shù)據(jù)庫(kù)(達(dá)夢(mèng),mysql等)、API接口(python/json/repuest)、手工數(shù)據(jù)(excel)歸集到大數(shù)據(jù)平臺(tái)(離線、實(shí)時(shí));平臺(tái)內(nèi)數(shù)據(jù)開(kāi)發(fā)(ods/dwd/dws等,新建集市,指標(biāo)口徑梳理與開(kāi)發(fā),問(wèn)題排查,手工指標(biāo)更新)
2平臺(tái)運(yùn)維:星環(huán)大數(shù)據(jù)平臺(tái)運(yùn)維zabbix/Prometheus,容器化管理docker+k8s,各組件健康性監(jiān)控與響應(yīng)hdfs/kafka/yarn/zk/flink,工作流監(jiān)控與運(yùn)維(問(wèn)題定位、日志分析)
任職/崗位要求:
1【必備】計(jì)算機(jī)相關(guān)專(zhuān)業(yè),碩士
2【必備】24屆及以后,每周5天,實(shí)習(xí)5個(gè)月以上,盡量穩(wěn)定
3【必備】有2個(gè)月以上大數(shù)據(jù)平臺(tái)實(shí)習(xí)經(jīng)驗(yàn)
4【必備】熟練使用語(yǔ)言:Java/Python/SQL/Shell
5【必備】熟悉大數(shù)據(jù)平臺(tái)各組件(hdfs,yarn,zk,kafka等)原理,并有本地部署和使用經(jīng)驗(yàn)
6【必備】接受適當(dāng)加班;有耐心處理數(shù)據(jù);工作認(rèn)真負(fù)責(zé);熱愛(ài)技術(shù)難點(diǎn)攻關(guān);
7【加分】了解容器化相關(guān)知識(shí)和操作Docker+K8s;熟練操作Excel(常用函數(shù),數(shù)據(jù)入庫(kù))PPT等;有ETL工作經(jīng)驗(yàn):數(shù)據(jù)抽取,清洗,導(dǎo)出,工作流調(diào)度及相關(guān)工作:kettle,datax,datastage,airflow等
補(bǔ)充,實(shí)習(xí)滿時(shí)長(zhǎng)后,通過(guò)答辯即可轉(zhuǎn)正。