久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

基本信息

姓名：錘子簡(jiǎn)歷

年齡：29歲

電話：137****3334

郵箱：513965****@qq.com

經(jīng)驗(yàn)：7年

意向：大數(shù)據(jù)工程師

教育背景

時(shí)間：2010-09 - 2014-07

學(xué)校：錘子簡(jiǎn)歷科技學(xué)院 | 專業(yè)：信息管理與信息系統(tǒng) | 學(xué)歷：本科

工作經(jīng)歷

工作時(shí)間：2016-01 - 至今

公司名稱：錘子簡(jiǎn)歷信息技術(shù)有限公司 | 所在部門： | 所在崗位：大數(shù)據(jù)工程師

工作描述：

在分支任職大數(shù)據(jù)工程師，負(fù)責(zé)大數(shù)據(jù)產(chǎn)品項(xiàng)目組與咪咕音樂(lè)有限公司業(yè)務(wù)支撐中心部門項(xiàng)目開(kāi)發(fā)及運(yùn)維工作，主要負(fù)責(zé)工作內(nèi)容：1、負(fù)責(zé)業(yè)務(wù)支撐中心的一級(jí)VGOP、咪咕杭州研發(fā)中心對(duì)外供數(shù)的所有數(shù)據(jù)維護(hù)以及新增接口的開(kāi)發(fā)、增、刪、修、調(diào)整字段類型等。

2、負(fù)責(zé)中央音樂(lè)平臺(tái)對(duì)外全國(guó)分省供數(shù)業(yè)務(wù)，涉及到的業(yè)務(wù)有咪咕彩鈴、鈴音盒、客戶端使用及發(fā)展、振鈴、全曲及各大話單的數(shù)據(jù)業(yè)務(wù)開(kāi)發(fā)及運(yùn)維、新增加接口數(shù)據(jù)各省份需求。

3、一級(jí)VGOP對(duì)外稽核數(shù)據(jù)采集并取至基地服務(wù)器，由各負(fù)責(zé)人獲取數(shù)據(jù)進(jìn)行結(jié)算。

4、每月一級(jí)VGOP、中央音樂(lè)平臺(tái)對(duì)外分省供數(shù)月報(bào)數(shù)據(jù)出數(shù)運(yùn)維維護(hù)工作保障月報(bào)能按時(shí)對(duì)外供數(shù)。

5、wap門戶小時(shí)數(shù)據(jù)的供數(shù)業(yè)務(wù)，對(duì)外供數(shù)給一級(jí)VGOP、咪咕杭研中心供數(shù)，CP月數(shù)據(jù)更新，VGOP號(hào)段更新業(yè)務(wù)數(shù)據(jù)等等。

6、主要用到的系統(tǒng)環(huán)境及開(kāi)發(fā)，維護(hù)的工具有：LinuxUnix、AIX系統(tǒng)，Oracle 、PL/SQL,ETL運(yùn)維工具、mysql數(shù)據(jù)庫(kù)，shell腳本編程，crontab定點(diǎn)服務(wù)、python編程工具,CRT工具、UE編輯器。

7、給wap門戶渠道做數(shù)據(jù)分析，并給出用戶消費(fèi)情況做計(jì)量圖表，統(tǒng)計(jì)出用戶的消費(fèi)偏好數(shù)據(jù)信息，進(jìn)行跟進(jìn)分析然后研發(fā)出新產(chǎn)品提供給各類消費(fèi)偏好者推薦使用。

8、咪咕指數(shù)分析，由數(shù)據(jù)庫(kù)統(tǒng)計(jì)每個(gè)月的量收總額來(lái)做對(duì)比，進(jìn)行數(shù)據(jù)分析及調(diào)整用戶潛在的消費(fèi)意識(shí)數(shù)據(jù)，如；有些客戶端只是開(kāi)通特級(jí)會(huì)員，特級(jí)會(huì)員功能有比較多的免費(fèi)業(yè)務(wù)，還有贈(zèng)送給其它客戶端需求數(shù)據(jù)，拿進(jìn)行跟進(jìn)分析，然而可以從特級(jí)會(huì)員客戶中挖掘潛在的客戶進(jìn)行推薦，這樣就能咪咕消費(fèi)指數(shù)業(yè)務(wù)增長(zhǎng)。

2017年03月-開(kāi)始負(fù)責(zé)搬遷老系統(tǒng)數(shù)據(jù)Oracle平臺(tái)的數(shù)據(jù)資料表調(diào)度數(shù)據(jù)源供數(shù)（對(duì)外供數(shù)模塊）到大數(shù)據(jù)平臺(tái)供數(shù)，其中分省供數(shù)模塊我用了半個(gè)月的時(shí)間把全國(guó)31個(gè)省份的接口全部重新開(kāi)發(fā)完成，主要用到工具為hive、spark、python框架sql。

2017年7月出差到湖北移動(dòng)做武漢經(jīng)分spark報(bào)表開(kāi)發(fā)，展示在市場(chǎng)部一線應(yīng)用平臺(tái)，主要用到的工具為移動(dòng)的4A平臺(tái)，DAC平臺(tái)，多租戶模式開(kāi)發(fā)，涉及保密協(xié)議范圍。

2017年8月做武漢移動(dòng)業(yè)務(wù)支撐數(shù)據(jù)中心，遷移湖北渠道優(yōu)化模塊工作，程序開(kāi)發(fā)數(shù)據(jù)質(zhì)量核對(duì)，完善老系統(tǒng)無(wú)法滿足的條件，主要用移動(dòng)4A平臺(tái)、DACP平臺(tái)，Hadoop、HDFS、Map/Reduce、hive、spark工具開(kāi)發(fā)。

工作時(shí)間：2017-07 - 至今

公司名稱：錘子簡(jiǎn)歷信息科技有限公司 | 所在部門： | 所在崗位：IT 助理工程師，大數(shù)據(jù)助理工程師

工作描述：

[產(chǎn)線大數(shù)據(jù)自動(dòng)化 專案]

編寫生產(chǎn)線程式實(shí)現(xiàn)工業(yè)自動(dòng)化，以及大數(shù)據(jù)化，并為生產(chǎn)線的運(yùn)行提供技術(shù)支持。

通過(guò)對(duì)生產(chǎn)線上所有設(shè)備傳送到Kafka的數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)聽(tīng)，并依據(jù)不同標(biāo)準(zhǔn)對(duì)所有數(shù)據(jù)進(jìn)行處理，定時(shí)反饋給Kafka。同時(shí)對(duì)異常數(shù)據(jù)進(jìn)行累計(jì)判斷或者清零，對(duì)不同級(jí)別的異常拋送不同級(jí)別的警報(bào)到web service，以便送到相應(yīng)的客戶端，發(fā)出提示以及警報(bào)。后續(xù)分別將處理過(guò)的數(shù)據(jù)通過(guò)Nifi 傳入MQTT和ElasticSearch。 本專案實(shí)作使用了loopback（strongloop），kafka，npm，ElasticSearch等大數(shù)據(jù)環(huán)境。使用VSCode編寫，在nodejs環(huán)境下執(zhí)行，編寫使用javascript，Node.js，Angular.js等。實(shí)作部署使用MQTT，Nifi，HeidiSql，Xampp，F(xiàn)ileZilla，Putty等。項(xiàng)目涉及MariaDB，maven，ZooKeeper，Spark，F(xiàn)link等大數(shù)據(jù)環(huán)境。

項(xiàng)目經(jīng)歷

項(xiàng)目時(shí)間：2016-05 - 至今

項(xiàng)目名稱：游戲數(shù)據(jù)分析 | 項(xiàng)目工具：Spark+flume+kafka+zookeeper+redis

項(xiàng)目描述：

項(xiàng)目介紹

該項(xiàng)目是為游戲公司開(kāi)發(fā)的運(yùn)營(yíng)分析平臺(tái)，數(shù)據(jù)由該游戲公司提供。通過(guò)使用Logstash從日志服務(wù)器中實(shí)時(shí)采集數(shù)據(jù)，下沉到kafka集群中，使用sparkstreaming對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，獲取到一些需要實(shí)時(shí)展現(xiàn)的指標(biāo)，比如，當(dāng)前在線人數(shù)，當(dāng)日新增玩家用戶,活躍玩家，玩家留存率，以及游戲習(xí)慣，實(shí)時(shí)充值金額，實(shí)時(shí)玩家區(qū)域分布等。將實(shí)時(shí)數(shù)據(jù)保存到redis中，并從redis中獲取數(shù)據(jù)到前臺(tái)展示

我的職責(zé)

1.參與了需求分析，架構(gòu)分析，編寫開(kāi)發(fā)文檔。

2.參與了新增玩家用戶的分析及代碼實(shí)現(xiàn)。

3.參與了活躍玩家用戶的分析及代碼實(shí)現(xiàn)。

4.參與了玩家留存率的分析及代碼的實(shí)現(xiàn)。

5.參與了玩家流失率的分析。

6.優(yōu)化代碼以及對(duì)后期代碼的測(cè)試。

項(xiàng)目時(shí)間：2016-09 - 至今

項(xiàng)目名稱：交互式實(shí)時(shí)數(shù)據(jù)分析平臺(tái)

項(xiàng)目描述：

項(xiàng)目介紹

項(xiàng)目名稱 : 交互式數(shù)據(jù)分析系統(tǒng)（準(zhǔn)實(shí)時(shí)數(shù)據(jù)分析平臺(tái)）

技術(shù)架構(gòu) : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker

開(kāi)發(fā)環(huán)境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)

項(xiàng)目描述 : 該系統(tǒng)是一個(gè)交互式用戶行為分析系統(tǒng)。系統(tǒng)的主要用戶為公司內(nèi)部的PM和運(yùn)營(yíng)人員，用戶根據(jù)自己的需求去

分析某一類客戶的流量數(shù)據(jù)。根據(jù)分析結(jié)果，PM可以優(yōu)化產(chǎn)品設(shè)計(jì)，運(yùn)營(yíng)人員可以為自己的運(yùn)營(yíng)工作提供數(shù)據(jù)

支持。用戶在系統(tǒng)界面中選擇某個(gè)分析功能對(duì)應(yīng)的菜單，并進(jìn)入對(duì)應(yīng)的任務(wù)創(chuàng)建界面，然后選擇篩選條件和任務(wù)

參數(shù)，并提交任務(wù)。在接收到用戶提交的任務(wù)之后，根據(jù)任務(wù)類型選擇其對(duì)應(yīng)的Spark作業(yè)，啟動(dòng)一條子線

程來(lái)執(zhí)行Spark-submit命令以提交Spark作業(yè)。Spark作業(yè)運(yùn)行在Yarn集群上，并針對(duì)Hdfs中的海量

數(shù)據(jù)使用SparkSQL進(jìn)行計(jì)算，最終將計(jì)算結(jié)果寫入Hdfs中。另外還集成Flume，Kafka和Spark,

利用SparkStreaming，進(jìn)行實(shí)時(shí)分析。用戶通過(guò)系統(tǒng)界面查看任務(wù)分析結(jié)果，將結(jié)果返回給界面進(jìn)行展現(xiàn)。

項(xiàng)目職責(zé) :負(fù)責(zé)項(xiàng)目的集群搭建部署，需求分析, 參與庫(kù)表的設(shè)計(jì)及代碼的編寫和測(cè)試優(yōu)化工作

開(kāi)發(fā)步驟 : 數(shù)據(jù)收集階段：Flume采集供應(yīng)商接口上的數(shù)據(jù),實(shí)現(xiàn)flume自定義攔截器,滿足業(yè)務(wù)需求。

Kafka拉取flume上的數(shù)據(jù)傳給sparkStreaming進(jìn)行數(shù)據(jù)處理（實(shí)時(shí)ETL的程序），ETL處理的數(shù)據(jù)保存到Hdfs中。

數(shù)據(jù)處理階段：SparkCore處理Hdfs上的數(shù)據(jù)，通過(guò)RDD進(jìn)行離線處理和Dstream準(zhǔn)實(shí)時(shí)處理之后保存到Hdfs中。

數(shù)據(jù)展示階段：通過(guò)JDBC連接Hdfs處理好的數(shù)據(jù)，進(jìn)行圖表展示。

功能模塊 : 用戶訪問(wèn)會(huì)話（session）分析模塊，頁(yè)面跳出率統(tǒng)計(jì)分析模塊，

各區(qū)域熱門商品統(tǒng)計(jì)分析模塊，廣告點(diǎn)擊流量實(shí)時(shí)統(tǒng)計(jì)分析模塊

我的職責(zé)

個(gè)人評(píng)價(jià)

5年的大數(shù)據(jù)軟件質(zhì)量保證和性能調(diào)優(yōu)從業(yè)經(jīng)驗(yàn)；

熟悉Hadoop，Hive, Spark等大數(shù)據(jù)組件的基本運(yùn)維及調(diào)優(yōu)；

熟悉大數(shù)據(jù)測(cè)試基準(zhǔn)（TPCx-BB， TPC-DS等），具有企業(yè)級(jí)云平臺(tái)(AWS, AliCloud)的性能瓶頸分析及調(diào)優(yōu)實(shí)戰(zhàn)經(jīng)驗(yàn)；

擅長(zhǎng)使用自動(dòng)化工具進(jìn)行系統(tǒng)性能/功能測(cè)試及系統(tǒng)分析；

熟悉Linux及腳本語(yǔ)言，具有自動(dòng)化測(cè)試工具開(kāi)發(fā)經(jīng)驗(yàn)；

8年以上軟件測(cè)試經(jīng)驗(yàn)，熟悉軟件測(cè)試流程，具有一定的測(cè)試管理經(jīng)驗(yàn)；

對(duì)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)領(lǐng)域有所涉獵。

個(gè)人技能

1．能搭使用Hive和HBase的系統(tǒng)架構(gòu)，和能用Hive進(jìn)行海量數(shù)據(jù)的統(tǒng)計(jì)分析以及，能根據(jù)需求設(shè)計(jì)HBase表，能對(duì)Hive、HBase進(jìn)行搭建Hadoop的系統(tǒng)架構(gòu)和Hadoop集群。 2.能使用開(kāi)源日志收集框架flume，Kafka消息隊(duì)列。 3.能夠使用Python2.7的版本，進(jìn)行編程部署， 實(shí)現(xiàn)MapReducer框架，解決離線分析的場(chǎng)景和作業(yè)。 4.能夠使用java,Scala進(jìn)行項(xiàng)目的開(kāi)發(fā)，能夠?qū)崿F(xiàn)Spark框架的研發(fā)作業(yè)。 5.能使用SparkStreaming進(jìn)行實(shí)時(shí)數(shù)據(jù)的分析。 6.能使用MapReduce的原理和流程和其API開(kāi)發(fā)應(yīng)用程序 7．能使用Storm的原理和流程和使用API開(kāi)發(fā)應(yīng)用程序，以及Storm+Kafka實(shí)時(shí)流處理架構(gòu) 8.清楚spark任務(wù)提交流程，對(duì)spark作業(yè)能進(jìn)行調(diào)優(yōu) 9.能操作MySQL、Oracle數(shù)據(jù)庫(kù) 10.能使用Python進(jìn)行網(wǎng)頁(yè)爬蟲(chóng)，和Python與MySQL的交互