崗位職責(zé)：
負責(zé)美國及相關(guān)發(fā)達國家電子商務(wù)網(wǎng)站、Trade?show以及知名品牌和一般品牌商家信息的抓?。?br />負責(zé)網(wǎng)頁爬蟲架構(gòu)設(shè)計與核心技術(shù)研發(fā)；
設(shè)計策略和算法，提升網(wǎng)頁抓取的效率和質(zhì)量，進一步解決系統(tǒng)的網(wǎng)頁排重、垃圾控制、資源劃分等問題；
解決爬蟲開發(fā)和反爬技術(shù)的關(guān)鍵技術(shù)難點。
職位要求：
大學(xué)本科及以上學(xué)歷，計算機相關(guān)專業(yè)畢業(yè)；
從事過網(wǎng)絡(luò)爬蟲研究開發(fā)工作1年以上，精通網(wǎng)頁抓取原理及技術(shù)的實現(xiàn)細節(jié)，從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
熟悉Python或JAVA，或者熟悉.NET網(wǎng)絡(luò)編程；熟悉MySQL,Sql?Server數(shù)據(jù)庫,SQL語句；
精通http底層協(xié)議；精通深度抓取、動態(tài)網(wǎng)頁技術(shù)抓取、瀏覽器模擬抓取技術(shù)等；熟悉XML、JSON、SOAP協(xié)議；
有大規(guī)模數(shù)據(jù)處理、分布式計算、數(shù)據(jù)倉庫經(jīng)驗者優(yōu)先；
為人正直、開朗，積極上進，樂于接收新鮮事物，學(xué)習(xí)能力強，具有強烈的團隊合作意識及執(zhí)行力。