久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

項目經(jīng)驗（案例一）

項目時間：2016-01 - 2016-06項目名稱：移動互聯(lián)網(wǎng)內(nèi)容規(guī)則庫自優(yōu)化系統(tǒng)項目描述：項目介紹基于企業(yè)數(shù)據(jù)中心用戶上網(wǎng)日志數(shù)據(jù)，通過URL過濾、規(guī)則庫匹配、爬蟲爬取、內(nèi)容復(fù)原，文本數(shù)據(jù)挖掘等方法，實現(xiàn)內(nèi)容分析配置管理可視化以及內(nèi)容規(guī)則庫的自優(yōu)化等功能，利用爬蟲技術(shù)并融合DPI復(fù)原技術(shù)，以及標(biāo)簽規(guī)則庫的流程管理，對客戶的手機(jī)上網(wǎng)行為、訪問內(nèi)容、訪問應(yīng)用進(jìn)行深入識別，精細(xì)化支撐客戶數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)的分析需求，并結(jié)合數(shù)據(jù)整合和數(shù)據(jù)建模、數(shù)據(jù)挖掘、數(shù)據(jù)清洗等手段，建設(shè)基于細(xì)分行業(yè)的大數(shù)據(jù)及用戶深入洞察分析能力。本項目包括：

1.URLCLASSIFIER URL分類模塊，輸入是采樣的DPI URL ,使用用應(yīng)用規(guī)則，欄目規(guī)則，搜索規(guī)

則，元數(shù)據(jù)規(guī)則，噪音規(guī)則，元數(shù)據(jù)等規(guī)則庫，清洗為樣本數(shù)據(jù)，供規(guī)則分析人員使用。

2.URLGENERATOR 爬蟲URL 生成模塊，可輸入全量的DPI URL，使用用應(yīng)用規(guī)則，元數(shù)據(jù)規(guī)則，噪音規(guī)則，元數(shù)據(jù)等規(guī)則庫, 自動生成爬蟲URL, 供爬蟲使用。

3.URLFOCUS 重點應(yīng)用的URL 提取模塊，可輸入全量的DPI URL，使用應(yīng)用規(guī)則，欄目規(guī)則，搜索規(guī)則，元數(shù)據(jù)規(guī)則，噪音規(guī)則等規(guī)則庫，清洗為重點應(yīng)用的數(shù)據(jù)，供規(guī)則分析人員使用

4.SPIDER 讀取爬蟲URL，爬去相關(guān)頁面，生成相關(guān) URL索引文件和對應(yīng)的頁面文件，提供給PP使用。

5.PPPage Parser的簡寫，讀取SPIDER或PR的ＵＲＬ索引文件和頁面內(nèi)容文件，使用頁面規(guī)則庫，生成內(nèi)容元數(shù)據(jù)，導(dǎo)入相應(yīng)的APP的元數(shù)據(jù)庫。

6. CRMANAGER 內(nèi)容規(guī)則庫管理系統(tǒng)的用戶操作可視化界面。我的職責(zé)本人在項目中參與系統(tǒng)架構(gòu)和數(shù)據(jù)庫表結(jié)構(gòu)的設(shè)計，主要負(fù)責(zé)的模塊：網(wǎng)頁內(nèi)容分析模塊（PP）和爬蟲復(fù)原URL生成模塊（URLGenerator）。網(wǎng)頁內(nèi)容分析模塊（PP）:網(wǎng)頁內(nèi)容分析，通過對網(wǎng)頁內(nèi)容提取規(guī)則，將提取的內(nèi)容與內(nèi)容元數(shù)據(jù)對應(yīng)，建立內(nèi)容元數(shù)據(jù)規(guī)則庫?？梢灾С謱W(wǎng)頁/APP應(yīng)用更新狀態(tài)進(jìn)行判斷、對網(wǎng)頁/APP應(yīng)用編碼進(jìn)行識別 、對網(wǎng)頁/APP應(yīng)用標(biāo)題進(jìn)行獲取、對網(wǎng)頁/APP應(yīng)用內(nèi)容的獲取 。爬蟲復(fù)原URL生成模塊（URLGenerator）：基于應(yīng)用（APP）欄目動作規(guī)則庫，內(nèi)容規(guī)則庫，內(nèi)容元數(shù)據(jù)規(guī)則庫和噪音庫，從全量輸入的DPI XDR中提取并基于規(guī)則生成供爬蟲爬取的URL。

項目經(jīng)驗（案例二）

項目時間：2017-01 - 至今項目名稱：國壽指標(biāo)計算新框架 | 項目工具：hadoop,hdfs,mapreduce,hbase,spark-streaming項目描述：項目介紹該框架主要解決了以下幾個問題:1.集群中依賴的第三方Jar部署問題，使用了hadoop的分布式緩存技術(shù)，自動把依賴的jar包分發(fā)到各個node節(jié)點，并添加與classPath中2.解決集群的安全認(rèn)證問題，新框架兼容了hadoop集群的kebos認(rèn)證3.解決了不同項目組編程中的版本沖突，程序?qū)崿F(xiàn)了計算邏輯的自動加載，每個人只需維護(hù)好自己的代碼即可.我的職責(zé)參與新框架(基于MapReduce與hbase編程模型）方案的討論與設(shè)計，部分架構(gòu)代碼的實現(xiàn)，按照新架構(gòu)的思路去實現(xiàn)指標(biāo)的計算，解決了以前架構(gòu)中缺陷！

項目經(jīng)驗（案例三）

項目時間：2014-11 - 2015-10項目名稱：中國國際網(wǎng)博中心()項目描述：項目介紹中國首家基于3D虛擬互動技術(shù)的商務(wù)應(yīng)用平臺，運用現(xiàn)代網(wǎng)絡(luò)科技推動會展行業(yè)轉(zhuǎn)型升級和創(chuàng)新發(fā)展，努力探索實體展與網(wǎng)絡(luò)展互為支撐、線上展覽與信息檢索、電子商務(wù)緊密結(jié)合的全新展覽模式，幫助企業(yè)宣傳推廣和企業(yè)間商務(wù)交流提供媒介。我的職責(zé)中文版的個人賬戶信息管理(部分)功能模塊開發(fā)，英文版的數(shù)據(jù)庫文檔撰寫、數(shù)據(jù)關(guān)聯(lián)。依據(jù)文檔近些編碼及系統(tǒng)維護(hù)。

項目經(jīng)驗（案例四）

項目時間：2012-09 - 2013-07項目名稱：平安一卡通項目描述：項目介紹此項目是使集體組織的日常生活出勤考察變得高效，公開，透明。解決由于內(nèi)勤事物的冗雜，繁瑣而帶來的重要數(shù)據(jù)的遺失現(xiàn)象。我的職責(zé)本人參與了，計費審查統(tǒng)計模、物業(yè)公共設(shè)施財物的狀況、來訪人員管理等模塊的業(yè)務(wù)分析及功能實現(xiàn)。