久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

基本信息

姓名：錘子簡(jiǎn)歷

年齡：23歲

電話：159****4849

郵箱：368804****@qq.com

經(jīng)驗(yàn)：1年

意向：大數(shù)據(jù)工程師

教育背景

時(shí)間：2011-09 - 2015-07

學(xué)校：錘子簡(jiǎn)歷大學(xué) | 專業(yè)：計(jì)算機(jī)科學(xué)與技術(shù) | 學(xué)歷：本科

工作經(jīng)歷

工作時(shí)間：2010-03 - 2014-05

公司名稱：錘子簡(jiǎn)歷信息技術(shù)有限公司 | 所在部門：軟件與服務(wù)事業(yè)集團(tuán)/數(shù)據(jù)解決方案事業(yè)部 | 所在崗位：高級(jí)軟件測(cè)試工程師

工作描述：

1）進(jìn)行測(cè)試需求分析，制定測(cè)試計(jì)劃，合理分配測(cè)試資源；

2）設(shè)計(jì)開發(fā)測(cè)試用例，開發(fā)相關(guān)自動(dòng)化測(cè)試框架及工具

3）負(fù)責(zé)產(chǎn)品集成測(cè)試（功能，性能，穩(wěn)定性），報(bào)告并追蹤產(chǎn)品問題，提供系統(tǒng)測(cè)試及驗(yàn)收?qǐng)?bào)告

4）與開發(fā)團(tuán)隊(duì)緊密合作，分析系統(tǒng)性能瓶頸，提供優(yōu)化意見

5）優(yōu)化軟件質(zhì)量保證流程，提高效率及實(shí)用性

工作時(shí)間：2015-11 - 2017-09

公司名稱：錘子簡(jiǎn)歷人才咨詢有限公司 | 所在部門： | 所在崗位：大數(shù)據(jù)工程師

工作描述：

根據(jù)需求，負(fù)責(zé)相關(guān)大數(shù)據(jù)應(yīng)用模塊設(shè)計(jì)；

參與大數(shù)據(jù)產(chǎn)品的數(shù)據(jù)分析、數(shù)據(jù)模型、功能設(shè)計(jì)及產(chǎn)品研發(fā)工作；

研究各種數(shù)據(jù)清洗，修復(fù)方法；

研究大數(shù)據(jù)有關(guān)的數(shù)據(jù)分析方法；

負(fù)責(zé)有關(guān)大數(shù)據(jù)分析產(chǎn)品的設(shè)計(jì)和開發(fā)。

項(xiàng)目經(jīng)歷

項(xiàng)目時(shí)間：2016-09 - 2017-09

項(xiàng)目名稱：交互式實(shí)時(shí)數(shù)據(jù)分析平臺(tái)

項(xiàng)目描述：

項(xiàng)目介紹

項(xiàng)目名稱 : 交互式數(shù)據(jù)分析系統(tǒng)（準(zhǔn)實(shí)時(shí)數(shù)據(jù)分析平臺(tái)）

技術(shù)架構(gòu) : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker

開發(fā)環(huán)境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)

項(xiàng)目描述 : 該系統(tǒng)是一個(gè)交互式用戶行為分析系統(tǒng)。系統(tǒng)的主要用戶為公司內(nèi)部的PM和運(yùn)營(yíng)人員，用戶根據(jù)自己的需求去

分析某一類客戶的流量數(shù)據(jù)。根據(jù)分析結(jié)果，PM可以優(yōu)化產(chǎn)品設(shè)計(jì)，運(yùn)營(yíng)人員可以為自己的運(yùn)營(yíng)工作提供數(shù)據(jù)

支持。用戶在系統(tǒng)界面中選擇某個(gè)分析功能對(duì)應(yīng)的菜單，并進(jìn)入對(duì)應(yīng)的任務(wù)創(chuàng)建界面，然后選擇篩選條件和任務(wù)

參數(shù)，并提交任務(wù)。在接收到用戶提交的任務(wù)之后，根據(jù)任務(wù)類型選擇其對(duì)應(yīng)的Spark作業(yè)，啟動(dòng)一條子線

程來執(zhí)行Spark-submit命令以提交Spark作業(yè)。Spark作業(yè)運(yùn)行在Yarn集群上，并針對(duì)Hdfs中的海量

數(shù)據(jù)使用SparkSQL進(jìn)行計(jì)算，最終將計(jì)算結(jié)果寫入Hdfs中。另外還集成Flume，Kafka和Spark,

利用SparkStreaming，進(jìn)行實(shí)時(shí)分析。用戶通過系統(tǒng)界面查看任務(wù)分析結(jié)果，將結(jié)果返回給界面進(jìn)行展現(xiàn)。

項(xiàng)目職責(zé) :負(fù)責(zé)項(xiàng)目的集群搭建部署，需求分析, 參與庫(kù)表的設(shè)計(jì)及代碼的編寫和測(cè)試優(yōu)化工作

開發(fā)步驟 : 數(shù)據(jù)收集階段：Flume采集供應(yīng)商接口上的數(shù)據(jù),實(shí)現(xiàn)flume自定義攔截器,滿足業(yè)務(wù)需求。

Kafka拉取flume上的數(shù)據(jù)傳給sparkStreaming進(jìn)行數(shù)據(jù)處理（實(shí)時(shí)ETL的程序），ETL處理的數(shù)據(jù)保存到Hdfs中。

數(shù)據(jù)處理階段：SparkCore處理Hdfs上的數(shù)據(jù)，通過RDD進(jìn)行離線處理和Dstream準(zhǔn)實(shí)時(shí)處理之后保存到Hdfs中。

數(shù)據(jù)展示階段：通過JDBC連接Hdfs處理好的數(shù)據(jù)，進(jìn)行圖表展示。

功能模塊 : 用戶訪問會(huì)話（session）分析模塊，頁(yè)面跳出率統(tǒng)計(jì)分析模塊，

各區(qū)域熱門商品統(tǒng)計(jì)分析模塊，廣告點(diǎn)擊流量實(shí)時(shí)統(tǒng)計(jì)分析模塊

我的職責(zé)

項(xiàng)目時(shí)間：2014-11 - 2017-09

項(xiàng)目名稱：Intel新一代數(shù)據(jù)中心平臺(tái)的性能評(píng)測(cè)及調(diào)優(yōu)

項(xiàng)目描述：

項(xiàng)目介紹

Intel內(nèi)部合作項(xiàng)目 -- 對(duì)數(shù)據(jù)中心平臺(tái)新一代產(chǎn)品發(fā)布提供性能評(píng)測(cè)及調(diào)優(yōu)

我的職責(zé)

負(fù)責(zé)基于大數(shù)據(jù)測(cè)試基準(zhǔn)(TPCx-BB，TPC-DS等)，對(duì)新一代數(shù)據(jù)中心平臺(tái)進(jìn)行基本性能評(píng)估。

負(fù)責(zé)對(duì)新一代數(shù)據(jù)中心平臺(tái)進(jìn)行性能調(diào)優(yōu)（涉及Hadoop, Java, OS, BIOS等幾個(gè)層面），充分挖掘系統(tǒng)軟硬件資源的能力。

撰寫內(nèi)部技術(shù)報(bào)告，提交給數(shù)據(jù)中心部門進(jìn)行審核。

個(gè)人評(píng)價(jià)

熟悉hadoop生態(tài)圈一些開源組件flume、sqoop、zookeeper等，熟悉Java，Linux，熟悉關(guān)

系型數(shù)據(jù)庫(kù)mysql、oracle，熟悉數(shù)據(jù)倉(cāng)庫(kù)hive，會(huì)寫SQL語(yǔ)句，熟悉yarn工作原理及

mapreduce原理，了解hbase，spark，spark_rdd

性格開朗，為人細(xì)心，做事一絲不茍，能吃苦耐勞，工作腳踏實(shí)地，有較強(qiáng)的責(zé)任心，

具有團(tuán)隊(duì)合作精神，又具有較強(qiáng)的獨(dú)立工作能力，思維活躍。

個(gè)人技能

能夠安裝、部署、Hadoop2.x集群，熟悉Hadoop生態(tài)系統(tǒng)的相關(guān)產(chǎn)品，熟悉HDFS分布式文件系統(tǒng)，Sqoop數(shù)據(jù)庫(kù)ETL工具，F(xiàn)lume日志收集，MapReduce分布式計(jì)算框架，熟練掌握Sql/Hql的編寫，Zookeeper分布式協(xié)作，Yarn資源管理器，Hive數(shù)據(jù)倉(cāng)庫(kù)，HBase實(shí)時(shí)協(xié)作數(shù)據(jù)庫(kù)，熟悉Spark內(nèi)存計(jì)算，熟悉MySQL/ORACLE數(shù)據(jù)庫(kù)安裝、管理、調(diào)優(yōu)、備份、容災(zāi)、安全等技能一般,熟悉MapReduce編程。熟悉Linux操作系統(tǒng)，熟悉shell，熟練運(yùn)用SecureCRT, Xshell，MyEclipse，F(xiàn)ileZilla Client等應(yīng)用軟件。