職責(zé)描述：
1.負責(zé)設(shè)計和開發(fā)分布式的網(wǎng)絡(luò)爬蟲，以及策略持續(xù)優(yōu)化；
2.解決各類技術(shù)疑難問題，包括網(wǎng)絡(luò)問題、app分析、反編譯等；
3.主導(dǎo)爬蟲核心算法的設(shè)計和優(yōu)化，海量數(shù)據(jù)清洗、存儲結(jié)構(gòu)等研發(fā)和優(yōu)化工作
4.參與代碼檢查、編寫文檔，新技術(shù)的預(yù)研和使用
5.指導(dǎo)初中級開發(fā)保證項目開發(fā)進度和質(zhì)量?
任職資格：
1、本科及其以上4年以上Python爬蟲開發(fā)經(jīng)驗?
2、熟練掌握分布式框架，能使用Scrapy、requests、selenium、kafka等技術(shù)實現(xiàn)高并發(fā)穩(wěn)定抓??；?
3、熟知HTTP、TCP、Socket等底層知識，深度了解反爬原理，能夠解決封賬號、封IP采集、selenium被識別，具備一定APP反編譯破解能力
4、有過高并發(fā)IP池調(diào)度、cookie池調(diào)度設(shè)計經(jīng)驗
5、有實際海量數(shù)據(jù)采集、清洗、存儲項目經(jīng)驗
6、有過數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)監(jiān)控開發(fā)、設(shè)計使用經(jīng)驗、有對數(shù)據(jù)負責(zé)意識
