職位描述
1、負責大數(shù)據(jù)平臺數(shù)據(jù)倉庫、ETL模塊建模及設計開發(fā)
2、負責需求搜集、數(shù)據(jù)分析并參與設計數(shù)據(jù)制作
3、負責調(diào)度及數(shù)據(jù)質量的檢測和監(jiān)控,形成數(shù)據(jù)反饋優(yōu)化
任職要求:?
1、3-5年數(shù)據(jù)倉庫ETL設計及開發(fā)經(jīng)驗,精通數(shù)據(jù)倉庫邏輯架構、元數(shù)據(jù)管理、數(shù)據(jù)質量監(jiān)控等數(shù)據(jù)倉庫主要環(huán)節(jié),有BI經(jīng)驗者優(yōu)先
2、精通SQL,?Hive?SQL,SparkSQL優(yōu)先;?熟悉Java或Python編程,有相關語言大數(shù)據(jù)開發(fā)經(jīng)驗者優(yōu)先
3、能夠熟練應用一種或多種主流數(shù)據(jù)庫(如:Teradata、Greenplum、SQL?Server、Oracle、MySQL等)
4、至少掌握一種主流ETL以及調(diào)度工具,例如Oozie、Azkaban、AirFlow、Sqoop、Flume、Logstash等,有相關功能擴展開發(fā)者優(yōu)先
5、掌握主流大數(shù)據(jù)數(shù)據(jù)處理框架優(yōu)先,如Spark,?Flink,?Storm
6、有較強的性能優(yōu)化及問題排查、解決能力;對開源技術非常感興趣并具有一定的研究能力