久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

求職意向

后端開發(fā) 山西太原 薪資面議 隨時到崗

教育背景

2020.x -2020x 錘子簡歷大學 會計與審計

工作經(jīng)驗

2020.x -2020x 錘子簡歷信息技術有限公司 python開發(fā)工程師

• 負責大量爬蟲得開發(fā)
• 根據(jù)公司設計文檔或需求說明獨立完成功能模塊的編寫工作；
  

• 與公司產(chǎn)品工程師、前端工程師進行溝通，實現(xiàn)公司W(wǎng)eb產(chǎn)品后臺研發(fā)；
  

• 完成站點系統(tǒng)代碼的實現(xiàn)，編寫代碼注釋和開發(fā)文檔；
  
• 通力合作，與項目團隊分析并解決日常開發(fā)過程中的問題；
• 協(xié)助測試工程師完成功能模塊中基礎功能的測試及 Bug 修改，修復程序缺陷
  

項目經(jīng)驗

2020.x -2020x 愛多商城 

• 項目名稱：裁判文書爬蟲開發(fā)
• 項目環(huán)境：scrapy

• 項目職責： 裁判文書，為公司的一大重點爬蟲，我負責維護以及改版重新開發(fā)，其中大大小小改版10余次，目前還在正常運行，其中運用到了種子保全，nodejs破解等的服務，種子保全主要是因為爬蟲是需要消耗種子以達到搜索的目的，以往的種子類型爬蟲，主要是將種子存放到ssdb中，爬蟲在ssdb隊列中，獲取種子進行搜索，但由于裁判文書的種子，會有無效種子，也會有失敗的案例，為了更好的統(tǒng)計以及盡量不丟失種子，爬蟲接入了種子保全，流程為，將種子依舊灌入到ssdb隊列，但種子保全服務，需要將灌入的種子實時的遷徙到mongodb中，并且給每一個種子增加一個唯一id，以及一個時間戳，這個時間戳的用處是如果該種子被取走但抓取失敗后，并不會從mongodb中消失，而是會設置一個字段來標記已經(jīng)是被消耗的種子，等到第二天才會把標記抹除。爬蟲會調(diào)用單獨的接口去獲取種子，等到抓取完畢之后調(diào)用刪除接口將該種子刪掉，如果爬蟲根據(jù)該種子沒有搜到數(shù)據(jù)，調(diào)用單獨接口，指定狀態(tài)碼，再將該種子刪除。nodejs服務主要是為了破解網(wǎng)站將cookie加密，調(diào)用指定方法，破解js，獲取到正確的cookie，其中該爬蟲也用到了des3破解，使用python語言加密的參數(shù)解密。

2020.x -2020x  

• 項目名稱：采集平臺
• 項目簡介：統(tǒng)一管理爬蟲并所有爬蟲進行異常監(jiān)控
• 項目環(huán)境：Flask+ Linux + MySQL +Django+ssdb+ Redis 
  

• 項目職責： 該平臺主要是用來管理爬蟲的一個采集平臺，其中有任務管理，監(jiān)控中心，智能監(jiān)控，定時器管理，數(shù)據(jù)查詢，項目和分類幾大模塊，其中任務管理主要是為了統(tǒng)一管理爬蟲的停止及啟動，也可以統(tǒng)計爬蟲的抓取量，監(jiān)控中心，也是監(jiān)控每天所有爬蟲的統(tǒng)計量，智能監(jiān)控則是監(jiān)控有無異常爬蟲及異常原因，定期會將異常爬蟲整理以郵件的形式發(fā)送給維護人，定時器管理為增加及修改定時器，關聯(lián)到任務本身，定時啟動，數(shù)據(jù)查詢也可以查詢指定爬蟲的原文數(shù)量及結(jié)果數(shù)量，項目和分類則是將爬蟲歸類到不同的分類中，以便統(tǒng)一管理。
  

2020.x -2020x 食文化 

• 項目名稱：澄鏡項目
• 項目環(huán)境： MySQL + SSDB + Redis + scrapy
  
• 項目職責： 爬蟲框架的調(diào)試，將數(shù)據(jù)庫與框架連接，以及進行爬蟲的開發(fā)

自我評價

• 本人為人誠懇、樂觀向上、擁有較強得適應能力；
• 富有團隊精神和團隊意識，熱衷于學習新技能