久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

項(xiàng)目經(jīng)驗(yàn)（案例一）

項(xiàng)目時(shí)間：2014-05 - 至今

項(xiàng)目名稱：Intel & Cloudera戰(zhàn)略合作項(xiàng)目--CDH產(chǎn)品發(fā)布

項(xiàng)目描述：

項(xiàng)目介紹

Intel與Cloudera進(jìn)行戰(zhàn)略合作。Intel在技術(shù)上支持CDH的產(chǎn)品發(fā)布，將Intel Hadoop發(fā)行版的某些特定功能優(yōu)化后整合到CDH產(chǎn)品中，同時(shí)加入基于IA平臺(tái)的某些優(yōu)化（如MKL）以期達(dá)到更好的性能。

我的職責(zé)

負(fù)責(zé)Intel某些特定功能的測(cè)試需求分析和測(cè)試計(jì)劃的制定。

負(fù)責(zé)Intel某些特定功能的功能和穩(wěn)定性測(cè)試，比如MKL, HBase MOB（Moderate Object Storage)等。

基于大數(shù)據(jù)測(cè)試基準(zhǔn)(Hi-Bench, TPCx-BB等)，提供針對(duì)CDH的性能測(cè)試和分析報(bào)告。

基于內(nèi)部云測(cè)試平臺(tái)(底層為OpenStack)，協(xié)助Cloudera團(tuán)隊(duì)進(jìn)行提高CDH安裝部署測(cè)試的覆蓋率。

項(xiàng)目經(jīng)驗(yàn)（案例二）

項(xiàng)目時(shí)間：2017-03 - 2017-09

項(xiàng)目名稱：美鄰后臺(tái)流量分析系統(tǒng)

項(xiàng)目描述：

項(xiàng)目介紹

? 美鄰手機(jī)app，用于收集用戶反饋，提建議，發(fā)起各種交流活動(dòng)，通過(guò)埋點(diǎn)對(duì)美鄰app的日志進(jìn)行分析，計(jì)算app相關(guān)指標(biāo)，其中指標(biāo)包括：頁(yè)面瀏覽量即為PV(Page View)，每日登陸用戶數(shù)UV，每周UV，跳出率（跳出數(shù)/PV）。跳出率是非常重要的訪客黏性指標(biāo)，它顯示了訪客對(duì)應(yīng)用的興趣程度：跳出率越低說(shuō)明流量質(zhì)量越好，訪客對(duì)網(wǎng)站的內(nèi)容越感興趣，這些訪客越可能是網(wǎng)站的有效用戶、忠實(shí)用戶。板塊訪問(wèn)量pv，和板塊獨(dú)立ip訪問(wèn)量。

我的職責(zé)

1．參與前期項(xiàng)目分析，設(shè)計(jì)系統(tǒng)整體架構(gòu)

2．使用flume監(jiān)聽(tīng)每天的日志目錄，將每天的日志文件上傳到hdfs上相應(yīng)的目錄下

3．通過(guò)寫mapreduce任務(wù)對(duì)數(shù)據(jù)進(jìn)行清洗

4．負(fù)責(zé)網(wǎng)站的瀏覽量統(tǒng)計(jì)，用戶注冊(cè)統(tǒng)計(jì)等模塊的設(shè)計(jì)。

項(xiàng)目經(jīng)驗(yàn)（案例三）

項(xiàng)目時(shí)間：2016-11 - 2017-03

項(xiàng)目名稱：騰翼it管理系統(tǒng)

項(xiàng)目描述：

項(xiàng)目介紹

針對(duì)醫(yī)院行業(yè)目前面臨的運(yùn)維挑戰(zhàn)，推出"醫(yī)院行業(yè)智慧運(yùn)維解決方案"，通過(guò)深度剖析業(yè)務(wù)系統(tǒng)組件及業(yè)務(wù)流量定位問(wèn)題根源，快速分析問(wèn)題，輔助運(yùn)維人員及時(shí)解決問(wèn)題，為領(lǐng)導(dǎo)提供決策依據(jù)。

我的職責(zé)

1、負(fù)責(zé)開(kāi)發(fā)和維護(hù)Java后端服務(wù)，為用戶提供穩(wěn)定可靠的服務(wù)；

2、負(fù)責(zé)開(kāi)發(fā)和維護(hù)基礎(chǔ)服務(wù)，構(gòu)建安全可靠的服務(wù)平臺(tái)；

3、負(fù)責(zé)Java相關(guān)的應(yīng)用開(kāi)發(fā)。

項(xiàng)目經(jīng)驗(yàn)（案例四）

項(xiàng)目時(shí)間：2015-01 - 2015-11

項(xiàng)目名稱：眾泰基于大數(shù)據(jù)的發(fā)展分析 | 項(xiàng)目工具：linux、hadoop-2.6.0-cdh5.5.2、sqoop-1.4.6-cdh5.5.2、zookeeper-3.4.5-cdh5.5.2、hbase-1.0.0-cdh5.5.2、hive-1.1.0-cdh5.5.2、kafka、JDK 1.7.0、spark-1.5.0-cdh5.5.2、mysql、oracle等

項(xiàng)目描述：

項(xiàng)目介紹

面對(duì)汽車行業(yè)數(shù)字化浪潮發(fā)掘企業(yè)數(shù)據(jù)價(jià)值，推動(dòng)業(yè)務(wù)發(fā)展和創(chuàng)新，采用先進(jìn)的云計(jì)算和大數(shù)據(jù)分析等技術(shù)搭建的數(shù)據(jù)分析應(yīng)用生態(tài)體系。通過(guò)企業(yè)內(nèi)部的數(shù)據(jù)系統(tǒng)獲取研發(fā)、生產(chǎn)、營(yíng)銷銷售、售后等各種信息，結(jié)合互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)等用戶端口獲取用戶的用車習(xí)慣、需求，以及對(duì)產(chǎn)品的抱怨等等。這些大數(shù)據(jù)經(jīng)過(guò)大數(shù)據(jù)分析以后得出一些結(jié)論，為車型的研發(fā)、改進(jìn)為營(yíng)銷策略的制定；為廣告的精準(zhǔn)投放；為生產(chǎn)、庫(kù)存的調(diào)整；為銷售、售后的跟進(jìn)；提供數(shù)據(jù)、智力支持。 統(tǒng)計(jì)用戶的審美喜好、用車習(xí)慣，給新車的設(shè)計(jì)師提供參考。這樣出來(lái)的新車，勢(shì)必?fù)碛袝充N的基礎(chǔ)。 在廣告投放階段，云鏡能精準(zhǔn)地找到潛在客戶，甚至廣告的形式及內(nèi)容都可以根據(jù)用戶的喜好進(jìn)行定制。這毫無(wú)疑問(wèn)會(huì)提高廣告效果。對(duì)用戶的抱怨進(jìn)行統(tǒng)計(jì)分析，可以及時(shí)發(fā)現(xiàn)并處理用戶抱怨，提高用戶滿意度，同時(shí)為車型改進(jìn)提供參考。

監(jiān)測(cè)到某一車型多次出現(xiàn)同一故障，系統(tǒng)可以通過(guò)車載終端、手機(jī)對(duì)相同車型的車主進(jìn)行提醒。讓車主到4S店進(jìn)行預(yù)防性檢查，同時(shí)可以進(jìn)行進(jìn)店預(yù)約，節(jié)約車主時(shí)間。

項(xiàng)目描述：

1、數(shù)據(jù)來(lái)源： 數(shù)據(jù)傳統(tǒng)來(lái)源已經(jīng)有了相對(duì)成熟生產(chǎn)系統(tǒng)體系，包括銷售領(lǐng)域的分銷商管理系統(tǒng)(DMS)，經(jīng)銷商使用的CRM、客服中心(Call center)、生產(chǎn)管理系統(tǒng)，質(zhì)量管理系統(tǒng)(QIS)等等，因此可以滿足日常主機(jī)廠自身日常運(yùn)營(yíng)分析、產(chǎn)品分析以及對(duì)渠道運(yùn)營(yíng)分析。

1)車聯(lián)網(wǎng)系統(tǒng)：目前越來(lái)越多的主機(jī)廠考慮部署或者已經(jīng)部署車聯(lián)網(wǎng)系統(tǒng)，通過(guò)車聯(lián)網(wǎng)系統(tǒng)有效補(bǔ)充用戶日常數(shù)據(jù)缺失，以ADAS系統(tǒng)為例，可以捕獲如下數(shù)據(jù)：用戶駕駛行為數(shù)據(jù)：用戶每次駕駛里程，轉(zhuǎn)向習(xí)慣，行駛速度、是否有疲勞駕駛等，可以有效幫助客戶畫像數(shù)據(jù)構(gòu)建產(chǎn)品參數(shù)實(shí)時(shí)獲?。翰煌悴考年P(guān)鍵運(yùn)營(yíng)指標(biāo)，如轉(zhuǎn)速、溫度、電子指標(biāo)等，從而為精細(xì)化產(chǎn)品質(zhì)量預(yù)測(cè)和分析提供基礎(chǔ)

2)網(wǎng)絡(luò)輿情信息：網(wǎng)絡(luò)已經(jīng)是用戶信息傳播的主要渠道，相比主機(jī)廠傳統(tǒng)方式，網(wǎng)絡(luò)信息會(huì)更早、更全面反映用戶對(duì)主機(jī)廠的相關(guān)信息，通過(guò)部署自有網(wǎng)絡(luò)爬蟲系統(tǒng)或者購(gòu)買第三方的SAAS服務(wù)，可以針對(duì)重點(diǎn)門戶、知名行業(yè)網(wǎng)站、論壇、電商平臺(tái)等通過(guò)爬蟲系統(tǒng)可以捕獲網(wǎng)絡(luò)新聞、論壇帖子、用戶評(píng)論等網(wǎng)絡(luò)信息基于大數(shù)據(jù)技術(shù)處理，通過(guò)網(wǎng)絡(luò)信息進(jìn)行市場(chǎng)營(yíng)銷、品牌影響力、用戶習(xí)慣、產(chǎn)品質(zhì)量等分析，以品牌為例，可以完成品牌日常熱度、口碑傾向等分析。

3)第三方外部數(shù)據(jù)：行業(yè)性數(shù)據(jù)：通過(guò)乘聯(lián)會(huì)等行業(yè)組織的數(shù)據(jù)引入，可以有效解決市場(chǎng)趨勢(shì)分析的數(shù)據(jù)引入;第三方用戶標(biāo)簽數(shù)據(jù)：和第三方數(shù)據(jù)合作中，得到用戶級(jí)的數(shù)據(jù)交換，考慮到第三方數(shù)據(jù)匹配成功率不足的問(wèn)題，這就需要構(gòu)建統(tǒng)一的用戶標(biāo)簽體系和用戶多ID體系;此外更為可行的做法是充分利用第三方的做好用戶畫像分析數(shù)據(jù)，優(yōu)先完善用戶群統(tǒng)計(jì)數(shù)據(jù);

2、數(shù)據(jù)導(dǎo)入和預(yù)處理：使用sqoop抽取oracle數(shù)據(jù)庫(kù)中的數(shù)據(jù)，因?yàn)閿?shù)據(jù)采集端數(shù)據(jù)來(lái)自多個(gè)數(shù)據(jù)庫(kù)，因此數(shù)據(jù)格式存在差異，需要抽取到hadoop平臺(tái)上，在導(dǎo)入的過(guò)程中依據(jù)數(shù)據(jù)特征進(jìn)行一些簡(jiǎn)單的清洗、篩選。

3、數(shù)據(jù)分析和統(tǒng)計(jì)：對(duì)已經(jīng)導(dǎo)入的海量數(shù)據(jù)依據(jù)其本身特征進(jìn)行分析并為之分類匯總，以滿足大多數(shù)常見(jiàn)的分析需求。

4、數(shù)據(jù)挖掘：針對(duì)前面已經(jīng)數(shù)據(jù)分類匯總，利用數(shù)據(jù)挖掘算法對(duì)這些匯總數(shù)據(jù)進(jìn)行深一步挖掘。數(shù)據(jù)挖掘算法都比較復(fù)雜，沒(méi)有預(yù)先設(shè)置的公式，這也是考驗(yàn)一個(gè)公司實(shí)力、人工智能的一個(gè)環(huán)節(jié)，只有相對(duì)準(zhǔn)確合適的算法才能從大數(shù)據(jù)中得到有價(jià)值的數(shù)據(jù)分析結(jié)果。

項(xiàng)目架構(gòu)：

1、相關(guān)負(fù)責(zé)組：數(shù)據(jù)收集組、數(shù)據(jù)處理組、分析組、建模算法組、數(shù)據(jù)展示組。

2、數(shù)據(jù)收集有多方面數(shù)據(jù)，有數(shù)據(jù)收集組通過(guò)爬蟲在相關(guān)對(duì)重點(diǎn)門戶、知名行業(yè)網(wǎng)站、論壇、電商平臺(tái)等通過(guò)爬蟲系統(tǒng)可以捕獲網(wǎng)絡(luò)新聞、論壇帖子、用戶評(píng)論等網(wǎng)絡(luò)信息。

3、數(shù)據(jù)處理組負(fù)責(zé)將數(shù)據(jù)庫(kù)抽取出來(lái)的數(shù)據(jù)，數(shù)據(jù)抽取組的數(shù)據(jù)進(jìn)行相關(guān)的清洗、篩選，并將數(shù)據(jù)進(jìn)行海量小數(shù)據(jù)合并。

4、分析組負(fù)責(zé)大量離線數(shù)據(jù)的分析，匯總分析出各種型號(hào)車輛的各項(xiàng)參數(shù)，以及根據(jù)售后維修的數(shù)據(jù)分析出出現(xiàn)問(wèn)題最多的前10名的車型及其維修的部件的型號(hào)，并且匯總根據(jù)售后反饋回來(lái)的信息， 再次綜合出已出現(xiàn)問(wèn)題的車型及其部件編號(hào)。還有網(wǎng)上爬蟲來(lái)自網(wǎng)絡(luò)新聞、論壇帖子、用戶評(píng)論等網(wǎng)絡(luò)信息，分析出客戶期望以及車輛問(wèn)題。其中還包括用戶的行為分析，通過(guò)車輛的定位來(lái)確定客戶的喜好消費(fèi)，綜合上方收集來(lái)的用戶駕駛習(xí)慣來(lái)為用戶定制專有的用戶畫像。還有分析各地區(qū)人們的不同而分別投放不同的廣告。

我的職責(zé)

1、在hadoop生態(tài)圈上利用sqoop工具進(jìn)行oracle數(shù)據(jù)庫(kù)的增量抽取到HDFS

2、在hive中對(duì)數(shù)據(jù)進(jìn)行分析、處理、創(chuàng)建、修改客戶專屬畫像和汽車專屬畫像

3、按業(yè)務(wù)要求對(duì)hive進(jìn)行優(yōu)化

4、按業(yè)務(wù)要求HQL的編寫及調(diào)優(yōu)