崗位職責(zé)：
1、負(fù)責(zé)分布式爬蟲系統(tǒng)的核心技術(shù)研究、架構(gòu)設(shè)計(jì)、系統(tǒng)規(guī)劃
2、負(fù)責(zé)爬蟲核心算法的策略優(yōu)化，提升網(wǎng)頁抓取的效率和質(zhì)量
3、研究各種網(wǎng)頁、微信、app接口，實(shí)現(xiàn)多通道抓取
4、反爬策略的設(shè)計(jì)及優(yōu)化
5、負(fù)責(zé)業(yè)務(wù)需求分析、系統(tǒng)設(shè)計(jì)、開發(fā)計(jì)劃的制定與跟進(jìn)
6、負(fù)責(zé)爬蟲系統(tǒng)研發(fā)過程跟進(jìn)、代碼review、質(zhì)量控制；
7、負(fù)責(zé)研發(fā)團(tuán)隊(duì)的管理及溝通協(xié)調(diào)。
任職要求：
1、本科或以上學(xué)歷，2年以上python開發(fā)經(jīng)驗(yàn)，2年以上爬蟲管理經(jīng)驗(yàn)；
2、精通scrapy,?webmagic等開源項(xiàng)目，了解java開發(fā)；
3、具有分布式爬蟲系統(tǒng)框架設(shè)計(jì)能力，以及爬蟲項(xiàng)目規(guī)劃能力。
4、熟悉網(wǎng)絡(luò)編程、熟悉多線程機(jī)制、有過Socket?HTTP網(wǎng)絡(luò)編程項(xiàng)目經(jīng)驗(yàn)。
5、模擬瀏覽器操作爬蟲，了解網(wǎng)頁抓取原理及技術(shù)，精通正則表達(dá)式，具備網(wǎng)絡(luò)爬蟲項(xiàng)目經(jīng)驗(yàn)。
6、有分布式爬蟲的開發(fā)以及維護(hù)工作經(jīng)驗(yàn)，開發(fā)更具實(shí)時(shí)性以及準(zhǔn)確性的高性能爬蟲；
7、有互聯(lián)網(wǎng)金融行業(yè)經(jīng)驗(yàn)，具備快速學(xué)習(xí)新理念及技術(shù),有務(wù)實(shí)的工作態(tài)度與扎實(shí)的軟件開發(fā)理論基礎(chǔ)。
8、處理過千萬級(jí)數(shù)據(jù)的清洗工作
0755-27858055
4000-520-598