崗位職責(zé)
??1.負(fù)責(zé)爬蟲核心系統(tǒng)的架構(gòu)設(shè)計(jì)與實(shí)現(xiàn);
??2.研究爬蟲策略和防屏蔽規(guī)則,提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性;
??3.負(fù)責(zé)網(wǎng)站和APP的信息爬取和頁(yè)面內(nèi)容的提取分析;
??4.負(fù)責(zé)對(duì)指定app的接口和數(shù)據(jù)的分析、抓取及破解,對(duì)技術(shù)預(yù)研難點(diǎn)進(jìn)行攻關(guān);
??5.負(fù)責(zé)大規(guī)模數(shù)據(jù)爬蟲的性能優(yōu)化工作;
??
??任職要求
??1.計(jì)算機(jī)相關(guān)專業(yè),5年以上爬蟲開發(fā)、內(nèi)容提取工作經(jīng)驗(yàn);
??2.熟悉python、Java開發(fā)語(yǔ)言,Linux命令;
??3.具備新聞資訊、社交媒體網(wǎng)站和APP采集能力,分布式采集優(yōu)先;
??4.能夠完成數(shù)據(jù)庫(kù)的CRUD,對(duì)語(yǔ)句優(yōu)化、存儲(chǔ)過(guò)程、函數(shù)、觸發(fā)器有了解;
??5.工作認(rèn)真細(xì)致踏實(shí),有較強(qiáng)的學(xué)習(xí)能力,熟悉常用爬蟲工具;
??6.精通爬蟲和反爬技術(shù),精通深度抓取、動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)抓取,掌握APP破解技術(shù)優(yōu)先;
?7.有Facebook數(shù)據(jù)采集技術(shù)經(jīng)驗(yàn)。