崗位職責(zé)：
1、負(fù)責(zé)分布自動(dòng)采集和數(shù)據(jù)采集系統(tǒng)的架構(gòu)設(shè)計(jì)和開發(fā)；
2、熟悉各類反反自動(dòng)采集策略，負(fù)責(zé)反反自動(dòng)采集技術(shù)難點(diǎn)攻堅(jiān)，并有豐富的反反自動(dòng)采集實(shí)戰(zhàn)經(jīng)驗(yàn)；
3、深刻理解自動(dòng)采集系統(tǒng)架構(gòu)，能對(duì)系統(tǒng)架構(gòu)提出自己的見解和優(yōu)化方案，提升數(shù)據(jù)抓取的效率，保證數(shù)據(jù)的質(zhì)量和及時(shí)更新；
4、建立自動(dòng)采集監(jiān)測體系，及時(shí)分析及解決自動(dòng)采集腳本在運(yùn)行過程中出現(xiàn)的問題；
任職要求:
1、全日制本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)；
2、4年及以上自動(dòng)采集相關(guān)工作經(jīng)驗(yàn)，具備豐富的海量數(shù)據(jù)自動(dòng)采集工作經(jīng)驗(yàn)；
3、具有代碼逆向（如app逆向、js逆向等），通過模型（重點(diǎn)是機(jī)器學(xué)習(xí)算法）破解驗(yàn)證碼經(jīng)驗(yàn)者優(yōu)先考慮；
4、良好的代碼能力，扎實(shí)的數(shù)據(jù)結(jié)構(gòu)和算法功底，有快速迭代、逐步優(yōu)化的工程項(xiàng)目經(jīng)驗(yàn)；
5、精通自動(dòng)采集和反自動(dòng)采集技術(shù)，精通http底層協(xié)議；精通深度抓取、動(dòng)態(tài)網(wǎng)頁技術(shù)抓取、瀏覽器模擬抓取技術(shù)等，從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
6、精通分布式系統(tǒng)、多線程、云服務(wù)，精通一種以上開源框架，熟悉scrapy、?requests等其中一個(gè)或多個(gè)自動(dòng)采集框架以及原理，有開發(fā)自動(dòng)采集框架經(jīng)驗(yàn)；
7、對(duì)主流自動(dòng)采集架構(gòu)有深入研究，具有成熟的自動(dòng)采集工具開發(fā)經(jīng)驗(yàn)、及Linux?、Windows云服務(wù)器的運(yùn)維經(jīng)驗(yàn)；
8、有很強(qiáng)的學(xué)習(xí)能力和技術(shù)鉆研能力，積極主動(dòng)，思維靈活開放，有良好的溝通能力、團(tuán)隊(duì)合作精神。?
9、有國際物流、貨代行業(yè)經(jīng)驗(yàn)者優(yōu)先考慮。