久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

項(xiàng)目經(jīng)歷（案例一）

項(xiàng)目時(shí)間：2017-01到2011-10

項(xiàng)目名稱：引物自動(dòng)化設(shè)計(jì)軟件

項(xiàng)目描述：

項(xiàng)目介紹

這個(gè)軟件開發(fā)原因是因?yàn)殡S著每日數(shù)據(jù)分析量的加大，組內(nèi)人員較少，對(duì)引物設(shè)計(jì)這種工作變成了工作效率的阻礙，遂提出了設(shè)計(jì)軟件以達(dá)到自動(dòng)化設(shè)計(jì)的目的。而且引物設(shè)計(jì)主要費(fèi)時(shí)在于多種驗(yàn)證操作，可以通過軟件自動(dòng)驗(yàn)證減少人力成本。

我的職責(zé)

1，軟件基礎(chǔ)功能設(shè)計(jì)，完成相關(guān)函數(shù)如自連互連驗(yàn)證，溫度驗(yàn)證等功能

2，分析NCBI網(wǎng)頁格式，設(shè)計(jì)API調(diào)用接口

3，編寫測(cè)試腳本對(duì)軟件進(jìn)行測(cè)試

項(xiàng)目經(jīng)歷（案例二）

項(xiàng)目時(shí)間：2017-01到2011-10

項(xiàng)目名稱：分布式爬蟲爬取北京市企業(yè)信用信息網(wǎng)

項(xiàng)目描述：

項(xiàng)目介紹

這個(gè)項(xiàng)目是通過scrapy-redis搭建分布式爬蟲爬取企業(yè)信用信息網(wǎng)公布欄，爬取列表頁每一項(xiàng)下的子頁獲取數(shù)據(jù)

我的職責(zé)

首先爬取首頁后通過xpath匹配每個(gè)的信息塊的span后構(gòu)建請(qǐng)求，并通過scrapy.Request發(fā)送請(qǐng)求，用xpath匹配需要的信息。

同時(shí)循環(huán)創(chuàng)建下一頁請(qǐng)求的form表單，通過scrapy.FormRequest發(fā)送POST請(qǐng)求。所有爬取的信息緩存到redis數(shù)據(jù)庫中，

最后通過編寫python腳本將redis數(shù)據(jù)庫中數(shù)據(jù)讀取出來加入mysql數(shù)據(jù)庫。

其他爬取的網(wǎng)站：搜狐新聞、豆瓣、騰訊新聞網(wǎng)

項(xiàng)目經(jīng)歷（案例三）

項(xiàng)目時(shí)間：2016-03到2011-10

項(xiàng)目名稱：基于django的基因產(chǎn)品選購系統(tǒng)

項(xiàng)目描述：

項(xiàng)目介紹

該項(xiàng)目為了滿足部分人群不方便抽血，但是又想通過基因檢測(cè)了解自己情況的人群，通過讓客戶在線選購基因檢測(cè)套餐，而后通過快遞將唾液采集器送達(dá)客戶家中，客戶只需按流程收集唾液后快遞給公司，就可以在規(guī)定的天數(shù)后在系統(tǒng)中查詢自己的檢測(cè)項(xiàng)目結(jié)果

我的職責(zé)

1，通過bootstrap，及js，css完成前端頁面的構(gòu)建

2，通過django搭建后端框架，使用cookie和session共同保存用戶的登錄狀態(tài)，通過ajax發(fā)送post請(qǐng)求將用戶選擇的套餐編號(hào)發(fā)送到服務(wù)器

3，測(cè)序結(jié)果使用ajax請(qǐng)求，返回json數(shù)據(jù)，通過判定json中result鍵的值判斷是否有測(cè)序結(jié)果，如果有結(jié)果便通過jquery動(dòng)態(tài)加載到頁面上

項(xiàng)目經(jīng)歷（案例四）

項(xiàng)目時(shí)間：2015-12到2011-10

項(xiàng)目名稱：通過異步爬蟲爬取HGMD，構(gòu)建mysql數(shù)據(jù)庫

項(xiàng)目描述：

項(xiàng)目介紹

對(duì)高通量測(cè)序數(shù)據(jù)進(jìn)行數(shù)據(jù)分析時(shí)，需要對(duì)snp數(shù)據(jù)進(jìn)行相關(guān)性篩選，為此需要構(gòu)建基于mysql的基因突變數(shù)據(jù)庫，對(duì)HGMD網(wǎng)站相關(guān)基因突變信息進(jìn)行爬取，爬取內(nèi)容包括基因名，染色體坐標(biāo)，突變信息，致病信息等。爬取結(jié)果存儲(chǔ)于mysql。

我的職責(zé)

1，采用asyncio+aiohttp以達(dá)成高并發(fā)，異步請(qǐng)求。

2，通過timeout設(shè)置超時(shí)重發(fā)機(jī)制，因?yàn)镠GMD為國外網(wǎng)站，防止因?yàn)榫W(wǎng)絡(luò)卡頓導(dǎo)致頁面抓取不到產(chǎn)生數(shù)據(jù)不全的現(xiàn)象。

3，通過繼承aiohttp.ClientSession類來保存cookie對(duì)象，以應(yīng)對(duì)基于cookie的反扒策略

4，使用xpath進(jìn)行頁面解析，解析出的數(shù)據(jù)通過PyMysql模塊存儲(chǔ)于mysql數(shù)據(jù)庫中