久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

求職意向

spark研發(fā)工程師 ?全職 ?北京 ?15K-20K 1周內(nèi)到崗

教育背景

2008.9-2012.7  中山大學(xué)  通信工程

職業(yè)技能

熟練掌握Scala語(yǔ)言，熟悉函數(shù)式編程，熟悉Java面向?qū)ο缶幊蹋?/p>

理解Spark工作機(jī)制，熟練掌握Spark任務(wù)的執(zhí)行流程，熟練使用Spark Core算子；

掌握Spark Streaming的流式處理技術(shù)，對(duì)流式數(shù)據(jù)在線(xiàn)處理分析以及對(duì)出現(xiàn)的問(wèn)題進(jìn)行排查，性能調(diào)優(yōu); 

掌握利用Spark SQL進(jìn)行數(shù)據(jù)處理、查詢(xún)、統(tǒng)計(jì)，擁有一定SparkSQL調(diào)優(yōu)經(jīng)驗(yàn)；

理解Hadoop的分布式文件系統(tǒng)HDFS，Yarn資源調(diào)度機(jī)制，掌握MapReduce原理及Job提交流程，實(shí)現(xiàn)編碼; 

熟悉Hive的工作原理，了解數(shù)據(jù)倉(cāng)庫(kù)建立，完成對(duì)數(shù)據(jù)主題抽取和多維分析，具有一定Hive調(diào)優(yōu)經(jīng)驗(yàn)；

熟練使用Redis內(nèi)存數(shù)據(jù)庫(kù)，分布式列式存儲(chǔ)數(shù)據(jù)庫(kù)HBase及MySQL數(shù)據(jù)庫(kù)；

熟練使用Sqoop工具，實(shí)現(xiàn)非關(guān)系型數(shù)據(jù)庫(kù)與關(guān)系型數(shù)據(jù)庫(kù)表數(shù)據(jù)互導(dǎo)；

掌握Flume數(shù)據(jù)采集工具的原理，實(shí)現(xiàn)流式數(shù)據(jù)的過(guò)濾和分析，自定義Source實(shí)現(xiàn)日志采集過(guò)程中的偏移量維護(hù)；

熟悉分布式消息系統(tǒng)Kafka集群搭建，熟練使用Kafka直連方式實(shí)現(xiàn)消費(fèi)數(shù)據(jù)偏移量的手動(dòng)維護(hù)和校驗(yàn)；

熟悉分布式協(xié)調(diào)系統(tǒng)Zookeeper集群搭建，了解Zookeeper的主從選舉機(jī)制（paxos）

熟悉Linux基本操作,以及Shell腳本編寫(xiě);

熟悉HTML、XML、JavaScript、jQuery、Bootstrap、E-charts等前端技術(shù)；

熟悉MyBatis 、Spring、SpringMVC等后端開(kāi)源框架；

熟練使用Git、Maven等項(xiàng)目版本管理及項(xiàng)目構(gòu)建工具;

熟練閱讀英文技術(shù)文檔；

實(shí)習(xí)經(jīng)歷

2015.9-2016.2

Arecy LLC

數(shù)據(jù)分析實(shí)習(xí)

參與項(xiàng)目需求分析，協(xié)助制定方案； 與客戶(hù)商討，幫助客戶(hù)理解項(xiàng)目，給出建議； 維護(hù)核心用戶(hù)群； 做一些簡(jiǎn)單的數(shù)據(jù)統(tǒng)計(jì)分析工作。

工作經(jīng)歷

2016.3-2016.7

StupidVideos

大數(shù)據(jù)開(kāi)發(fā)工程師

2016.9-2017.5

SWARM Digital Agency

數(shù)據(jù)開(kāi)發(fā)

2017.6-2017.12

河南省聚思信息科技有限公司

spark開(kāi)發(fā)工程師 

項(xiàng)目經(jīng)驗(yàn)

2016.4-2016.7

優(yōu)質(zhì)內(nèi)容分析系統(tǒng)

研發(fā)人員

項(xiàng)目描述：提取公司產(chǎn)品視頻平臺(tái)上視頻的單日播放日志數(shù)據(jù)，根據(jù)業(yè)務(wù)需求，制定日志數(shù)據(jù)的采集策略，完成日志中無(wú)效數(shù)據(jù)預(yù)處理，實(shí)現(xiàn)分析數(shù)據(jù)和HDFS分布式文件系統(tǒng)的無(wú)縫對(duì)接。將處理后的日志數(shù)據(jù)導(dǎo)入Hive數(shù)據(jù)倉(cāng)庫(kù)，利用HQL進(jìn)行離線(xiàn)數(shù)據(jù)的統(tǒng)計(jì)和分析，完成優(yōu)質(zhì)內(nèi)容判定，實(shí)現(xiàn)傳統(tǒng)優(yōu)質(zhì)內(nèi)容隨機(jī)推薦和熱門(mén)推薦。

軟件架構(gòu)： Flume+HDFS+MapReduce+Yarn+Hive+Sqoop+MySQL

項(xiàng)目職責(zé)： 參與產(chǎn)品需求分析，技術(shù)方案選型

  數(shù)據(jù)處理：

Flume日志數(shù)據(jù)采集， Json數(shù)據(jù)解析；

MapReduce數(shù)據(jù)清洗、有效數(shù)據(jù)過(guò)濾、HDFS分布式文件系統(tǒng)存儲(chǔ)

Hive指標(biāo)統(tǒng)計(jì)及報(bào)表生成

Sqoop報(bào)表導(dǎo)出與Mysql數(shù)據(jù)導(dǎo)入

Shell腳本編程及自動(dòng)化部署

 數(shù)據(jù)分析：

    離線(xiàn)報(bào)表：

視頻單日播放總量、視頻單日播放排名統(tǒng)計(jì)

視頻單日評(píng)論數(shù)，視頻歷史總評(píng)論數(shù)統(tǒng)計(jì)

視頻單日得分，視頻歷史總得分統(tǒng)計(jì)

2016.10-2017.5

游戲日志分析平臺(tái)

研發(fā)人員

項(xiàng)目描述：為了更好地實(shí)現(xiàn)游戲推廣策略，優(yōu)化游戲玩家體驗(yàn)，為游戲產(chǎn)品的運(yùn)營(yíng)和研發(fā)等提供數(shù)據(jù)參考， 游戲服務(wù)器會(huì)對(duì)觸發(fā)重要事件的用戶(hù)行為進(jìn)行埋點(diǎn)并記錄日志。通過(guò)對(duì)產(chǎn)生的大量日志數(shù)據(jù)進(jìn)行離線(xiàn)分析和 在線(xiàn)處理從而實(shí)現(xiàn)用戶(hù)行為的多維度指標(biāo)統(tǒng)計(jì)。該項(xiàng)目基于游戲日志，主要統(tǒng)計(jì)指標(biāo)有新增玩家，活躍玩 家，玩家留存率，玩家流失率，游戲平均時(shí)長(zhǎng)，游戲頻次，充值數(shù)據(jù)。

軟件架構(gòu)： Flume+Kafka+HDFS+ Spark Core +Spark SQL+ Yarn + Spark Streaming+Redis+MySQL

項(xiàng)目職責(zé)：

   數(shù)據(jù)采集： 自定義Flume組件遞歸從以日期格式命名的日志目錄中采集游戲日志文件至Kafka集群；

   數(shù)據(jù)處理： 拉取Kafka中預(yù)消費(fèi)數(shù)據(jù)，完成數(shù)據(jù)清洗，過(guò)濾有效數(shù)據(jù)；

   數(shù)據(jù)分析：

     1、離線(xiàn)分析：

DAU/WAU/MAU等離線(xiàn)指標(biāo)統(tǒng)計(jì)，生成玩家總體粘度分析報(bào)表；

渠道分析、媒體分析、自然流量分析等，優(yōu)化游戲廣告投放策略；

新增用戶(hù)、活躍用戶(hù)、玩家留存率、累計(jì)用戶(hù)等離線(xiàn)指標(biāo)統(tǒng)計(jì)，改進(jìn)產(chǎn)品運(yùn)營(yíng)策略；

     2、在線(xiàn)報(bào)表：

收入金額、充值人次、各地區(qū)收入、各渠道收、分性別收入、各年齡段收入等實(shí)時(shí)監(jiān)控運(yùn)營(yíng)情況；

   系統(tǒng)特色：

      ? 自定義Flume Source實(shí)現(xiàn)項(xiàng)目中日志文件遞歸監(jiān)控和采集；

      ? Spark Streaming直連Kafka手動(dòng)維護(hù)并校驗(yàn)偏移量避免數(shù)據(jù)重復(fù)消費(fèi)；

2017.6-2017.12

精準(zhǔn)廣告推送系統(tǒng)

研發(fā)人員

項(xiàng)目描述：結(jié)合現(xiàn)有的視頻搜索引擎、視頻觀(guān)看界面和個(gè)性化應(yīng)用設(shè)置以及用戶(hù)歷史數(shù)據(jù)信息，追蹤、研究 用戶(hù)偏好，通過(guò)技術(shù)手段獲取、挖掘用戶(hù)上網(wǎng)行為、瀏覽習(xí)慣。結(jié)合DSP廣告投放引擎日志數(shù)據(jù)，構(gòu)建 DMP（Data-Management Platform），將分散的多方數(shù)據(jù)進(jìn)行整合納入統(tǒng)一的技術(shù)平臺(tái)，對(duì)用戶(hù)數(shù)據(jù)進(jìn)行 標(biāo)準(zhǔn)化和細(xì)分，最終實(shí)現(xiàn)標(biāo)簽化管理，為實(shí)現(xiàn)廣告精準(zhǔn)投放提供數(shù)據(jù)支持。在自有視頻平臺(tái)進(jìn)行廣告投放的 基礎(chǔ)上，參與其他交易平臺(tái)廣告實(shí)時(shí)競(jìng)價(jià)與投放，充分實(shí)現(xiàn)數(shù)據(jù)的商業(yè)價(jià)值。

軟件架構(gòu)：Flume+Kafka+Zookeeper+Spark SQL/Core+Spark Streaming+Spark GraphX +HDFS+HBase+Redis

項(xiàng)目職責(zé)：

   數(shù)據(jù)采集： 自定義Flume組件采集Redis溢寫(xiě)到磁盤(pán)上的日志文件至Kafka/HDFS集群；

   數(shù)據(jù)處理： 日志數(shù)據(jù)切分、封裝，完成數(shù)據(jù)清洗，過(guò)濾有效數(shù)據(jù)

   數(shù)據(jù)分析：

     1、離線(xiàn)分析：

地域分析、終端設(shè)備分析、渠道分析、媒體分析等多維度統(tǒng)計(jì)廣告投放情況；

用戶(hù)畫(huà)像及用戶(hù)數(shù)據(jù)標(biāo)簽化， APP標(biāo)簽，商圈標(biāo)簽，關(guān)鍵字標(biāo)簽等，構(gòu)建、完善公司知識(shí)庫(kù)；

Spark GraphX圖計(jì)算完成統(tǒng)一用戶(hù)識(shí)別及上下文標(biāo)簽合并，實(shí)現(xiàn)用戶(hù)標(biāo)簽歸一化；

HBase存儲(chǔ)用戶(hù)當(dāng)日及歷史標(biāo)簽數(shù)據(jù)，實(shí)現(xiàn)用戶(hù)特征權(quán)重值衰減；

用戶(hù)歷史標(biāo)簽數(shù)據(jù)導(dǎo)出HBase及ElasticSearch數(shù)據(jù)導(dǎo)入，為廣告投放引擎提供檢索數(shù)據(jù)；

     2、在線(xiàn)報(bào)表：

廣告展示量、點(diǎn)擊量、點(diǎn)擊率、參與競(jìng)價(jià)數(shù)、競(jìng)價(jià)成功數(shù)、廣告消費(fèi)等報(bào)表生成；

Redis存儲(chǔ)及前端可視化展示；

      系統(tǒng)特色：

        ? 自定義Flume組件TailFileSource實(shí)現(xiàn)日志文件Offset記錄及斷點(diǎn)續(xù)傳；

        ? Spark Streaming直連Kafka手動(dòng)維護(hù)偏移量并校驗(yàn)偏移量避免數(shù)據(jù)重復(fù)消費(fèi)；

        ? 數(shù)據(jù)清洗完畢采用KryoSerializer壓縮體量更小傳輸更快速；

        ? 離線(xiàn)數(shù)據(jù)轉(zhuǎn)Parquet列式存儲(chǔ)降低IO負(fù)載，提高掃描性能；

        ? GeoHash結(jié)合百度逆地理位置編碼，明確用戶(hù)活躍商圈范圍；

        ? Spark GraphX圖計(jì)算提高用戶(hù)統(tǒng)一識(shí)別及上下文標(biāo)簽合并精確度；

自我評(píng)價(jià)

認(rèn)真細(xì)致，可以靜的下心專(zhuān)心做事。責(zé)任心較強(qiáng)，對(duì)于布置下來(lái)的任務(wù)認(rèn)真對(duì)待。

比較善于溝通，時(shí)刻注重 學(xué)習(xí)，具有較強(qiáng)的學(xué)習(xí)能力與團(tuán)隊(duì)精神。

工作踏實(shí)，能很快的適應(yīng)新的工作環(huán)境，工作勤奮，能吃苦耐勞，抗壓能力強(qiáng) 。 熱愛(ài)學(xué)習(xí)與分享，喜歡研究新事物，愛(ài)好讀書(shū)游戲游泳。