崗位職責(zé)：
1.?設(shè)計(jì)分布式爬蟲和數(shù)據(jù)采集系統(tǒng)的架構(gòu)設(shè)計(jì)和開發(fā)；
2.?負(fù)責(zé)網(wǎng)絡(luò)數(shù)據(jù)抓取規(guī)劃、定期爬取指定網(wǎng)站的數(shù)據(jù)；
3.?設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量；
4.?實(shí)現(xiàn)數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫、統(tǒng)計(jì)分析等需求；
5.?實(shí)現(xiàn)數(shù)據(jù)研究算法的程序化；
6.?團(tuán)隊(duì)主管交代的其他事項(xiàng)。
任職要求：
1.?本科以上學(xué)歷，計(jì)算機(jī)、統(tǒng)計(jì)相關(guān)專業(yè)，兩年以上相關(guān)工作經(jīng)驗(yàn)，有數(shù)據(jù)信息類網(wǎng)站爬取經(jīng)驗(yàn)優(yōu)先；
2.?較強(qiáng)的python基礎(chǔ)功底，mysql基礎(chǔ)，熟悉與后臺(tái)sql對(duì)接；
3.?對(duì)數(shù)據(jù)較為敏感，具備較強(qiáng)的數(shù)據(jù)分析能力；
4.?對(duì)科學(xué)計(jì)算和可視化（numpy、pandas和matplotlib庫）熟悉者優(yōu)先；
5.?具備較強(qiáng)的邏輯思維能力、執(zhí)行能力和團(tuán)隊(duì)精神；
6.?具備較強(qiáng)的溝通表達(dá)能力和文檔寫作能力；
7.?具備一定的專研精神，做事仔細(xì)、認(rèn)真、負(fù)責(zé)；
8.?具有較強(qiáng)的學(xué)習(xí)能力，愿意學(xué)習(xí)和研究各類新領(lǐng)域的知識(shí)。