分享
定制
項目經(jīng)歷(案例一)
項目時間:2016-06到2017-07
項目名稱:運營日志分析系統(tǒng) | 項目工具:Linux、hadoop-2.6.0-cdh5.5.2、sqoop-1.4.6-cdh3u5、hive-1.2.1-cdh3u5、zookeeper-3.4.5-cdh3u5、 Hbase-1.0.0-cdh3u5、mysql、spark-1.3.0-cdh5.5.2、Jdk1.7.0等。
項目描述:
項目介紹
我們公司擁有多款游戲,每天會產(chǎn)生大量的數(shù)據(jù),但是這些數(shù)據(jù)是分散在不同機器中,管理這些數(shù)據(jù)非常困難。為了保證數(shù)據(jù)存儲的高效、安全和完整,我們需要一個統(tǒng)一的大數(shù)據(jù)平臺來存儲和管理數(shù)據(jù);其次,我們需要針對每天生產(chǎn)的數(shù)據(jù)進行分析和統(tǒng)計,例如DAU、DNU、留存、流失、付費喜好或是渠道排查等等;第三,我們需要一個靈活可配置的集群環(huán)境,根據(jù)實時的業(yè)務需求,改變集群的硬件環(huán)境。因此我們選擇了Hadoop架構來搭建自己的大數(shù)據(jù)平臺。
我們收集到的大量數(shù)據(jù),有兩方面的信息:一是事件信息,記錄發(fā)生過的事件:用戶A在某個時刻登錄了一次;用戶B在另一個時刻進行了一次購買,等等。這種事件信息占了系統(tǒng)所存儲信息的大部分,而且絕大部分是不斷新增的數(shù)據(jù)。除事件信息外,還有用戶的屬性信息,比如用戶A首次充值的時間為2013年1月1日,等等。
我們通過分布式hadoop集群處理logstash獲取的玩家游戲行為信息,使用mapreduce對數(shù)據(jù)進行過濾清洗后重新存儲到HDFS上,使用hive和spark對數(shù)據(jù)進行分析,從數(shù)據(jù)反應的各項趨勢了解游戲的運行現(xiàn)狀,并把分析結(jié)果導入到mysql和redis進行統(tǒng)一管理。
我的職責
1.通過logstash抽取日志服務器上的日志文件和緩存數(shù)據(jù)庫的數(shù)據(jù)導入到HDFS。
2.通過mapreduce對數(shù)據(jù)做一個MR清洗,清洗出有效字段。
3.將清洗后的數(shù)據(jù)導入hive進行分析,利用sqoop將hive分析統(tǒng)計后的結(jié)果導出到mysql中保存。
4.通過spark對事件日志進行統(tǒng)計分析,利用jdbc把分析結(jié)果寫入到mysql。
5.使用HBase進行處理后數(shù)據(jù)的存儲。
6.對mapreduce,hive等進行調(diào)優(yōu),對Hql語句進行編寫調(diào)優(yōu)。
5.日常數(shù)據(jù)的管理及維護。
項目經(jīng)歷(案例二)
項目時間:2016-04到2017-07
項目名稱:麗家寶貝 | 項目工具:Linux redhat系統(tǒng)
項目描述:
項目介紹
該項目基于Thinkphp框架開發(fā),前臺分為訂單提交,商品信息,分類專區(qū),熱推信息,客戶服務等模塊;后臺細分為訂單管理,商品管理,分類管理,用戶管理,客戶評價,購物車等模塊。
在這個項目中多處使用ajax,購物車采用了memcache緩存技術,有效的防止了垃圾訂單的的產(chǎn)生造成的服務器壓力過大,提升了頁面的響應速度。
我的職責
1.參與前期數(shù)據(jù)庫表單的制定與操作。
2.負責網(wǎng)站用戶管理,對網(wǎng)站的信息進行修改更新和刪除。
3.權限管理,設置不同權限,如瀏覽客戶和會員用戶設計約束。
4.根據(jù)不同的消費群體,劃分不同的商品分區(qū)。
項目經(jīng)歷(案例三)
項目時間:2017-02到2017-07
項目名稱:多財寶網(wǎng)貸平臺(畢業(yè)設計) | 項目工具:SpringMVC+Spring+Mybatis+Easy-UI
項目描述:
項目介紹
基于B/S架構的互聯(lián)網(wǎng)P2P貸款系統(tǒng),用戶大致?lián)碛薪杩?投資,理財,還款等功能。前臺功能主要有借款申請,投資,個人相關記錄, 資料修改,風控資料上傳,銀行卡綁定等功能。后臺主要有審核,放款,統(tǒng)計,查看,權限管理,日志記錄查看等功能。
主要分為幾個流程:
1、借款流程:借款人注冊賬號,提交借款資料(風險控制【風控】資料),平臺風控審核,發(fā)布借款;
2、投資流程:投資人注冊賬號,綁定銀行卡,充值,投標;
3、放款流程:平臺滿標審核,借款人收款,借款人提現(xiàn);
4、還款流程:借款人充值,借款人還款,投資人收款,投資人繼續(xù)投資(或提現(xiàn))
我的職責
全程參與項目設計與開發(fā),測試,參與模塊有前臺的個人中心,手機短信驗證,郵箱驗證.用戶借款申請, 投標,風控資料的上傳,用戶還款,后臺的風控材料審核,借款標的發(fā)布審核,投標滿額審核,以及后期的維護。
技術要點:
1.Maven管理項目,前后臺管理分離
2.前后臺數(shù)據(jù)交互使用FreeMarker完成
3.前后臺頁面使用Bootstrap搭建前后臺網(wǎng)頁
4.使用代碼生成器
5.用戶的多個狀態(tài)使用二進制數(shù)來作為狀態(tài)碼,改變二進制數(shù)實現(xiàn)用戶狀態(tài)的增加,移除
6.使用Redis作為MyBatis的緩存,同時存儲日志文件
7.數(shù)據(jù)庫加密,數(shù)據(jù)庫防篡改
8.使用定時器+模型中驗證碼字段的組合方式達到防止數(shù)據(jù)篡改的警報功能
9.使用Ajax高級查詢分頁
項目經(jīng)歷(案例四)
項目時間:2017-02到2017-07
項目名稱:閱視官網(wǎng)
項目描述:
項目介紹
為豐靈軟件公司制作官網(wǎng),主要使用HTML5,CSS3,JavaScript,jQuery,bootstrap,ajax
我的職責
1、使用HTML5,CSS3完成符合W3C標準的頁面
2、使用JavaScript+jQuery完成頁面特效
3、使用bootstrap完成響應式布局
4、使用AJAX完成前后端數(shù)據(jù)交互
【使用錘子簡歷小程序制作簡歷】
零經(jīng)驗實習簡歷模板
21254人用過
學生求職簡歷模板
52754人用過
申請研究生簡歷模板
2324人用過
經(jīng)典工作簡歷模板
6254人用過
投行咨詢簡歷模板
12465人用過
產(chǎn)品經(jīng)理簡歷模板
7532人用過
程序員簡歷模板
7457人用過
留學英文簡歷模板
4554人用過