久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

1．能搭使用Hive和HBase的系統(tǒng)架構(gòu)，和能用Hive進(jìn)行海量數(shù)據(jù)的統(tǒng)計分析以及，能根據(jù)需求設(shè)計HBase表，能對Hive、HBase進(jìn)行搭建Hadoop的系統(tǒng)架構(gòu)和Hadoop集群。 2.能使用開源日志收集框架flume，Kafka消息隊列。 3.能夠使用Python2.7的版本，進(jìn)行編程部署， 實現(xiàn)MapReducer框架，解決離線分析的場景和作業(yè)。 4.能夠使用java,Scala進(jìn)行項目的開發(fā)，能夠?qū)崿F(xiàn)Spark框架的研發(fā)作業(yè)。 5.能使用SparkStreaming進(jìn)行實時數(shù)據(jù)的分析。 6.能使用MapReduce的原理和流程和其API開發(fā)應(yīng)用程序 7．能使用Storm的原理和流程和使用API開發(fā)應(yīng)用程序，以及Storm+Kafka實時流處理架構(gòu) 8.清楚spark任務(wù)提交流程，對spark作業(yè)能進(jìn)行調(diào)優(yōu) 9.能操作MySQL、Oracle數(shù)據(jù)庫 10.能使用Python進(jìn)行網(wǎng)頁爬蟲，和Python與MySQL的交互

專業(yè)技能（案例二）

對于Linux的基本常用命令比較熟練，可以熟練使用vi編輯器。

熟悉zookeeper分布式協(xié)調(diào)服務(wù)應(yīng)用，了解zookeeper的運(yùn)行原理；熟練運(yùn)用spark，清楚spark的啟動過程以及任務(wù)運(yùn)行的基本流程，可以自主完成對spark集群的搭建，熟悉spark-streaming，spark-sql，對于spark的相關(guān)算法有一些了解。

熟練掌握scala語言，可以使用scala對spark程序進(jìn)行一些編寫；

熟悉python語言，可以使用python來進(jìn)行對業(yè)務(wù)邏輯的處理，以及爬取數(shù)據(jù)等操作；

熟悉Kafka的工作原理，可以自主完成對Kafka集群的搭建；

熟練運(yùn)用shell腳本進(jìn)行編程，可以使用shell腳本來進(jìn)行一些特定的操作

熟悉hdfs，mapreduce，yarn的工作原理，熟悉Hadoop的生態(tài)體系，可以獨立完成對于Hadoop集群的搭建，同時對于mapreduce程序的開發(fā)也可以獨立完成；

熟悉hbase，hive，熟悉flume與Kafka的綜合使用。

可以熟練使用eclipse，myeclipse，idea，mysql，等相關(guān)開發(fā)工具

專業(yè)技能（案例三）

Hadoop

PERL

Python

SQL

Hive

C/C++

Java

Linux

專業(yè)技能（案例四）

能夠安裝、部署、Hadoop2.x集群，熟悉Hadoop生態(tài)系統(tǒng)的相關(guān)產(chǎn)品，熟悉HDFS分布式文件系統(tǒng)，Sqoop數(shù)據(jù)庫ETL工具，F(xiàn)lume日志收集，MapReduce分布式計算框架，熟練掌握Sql/Hql的編寫，Zookeeper分布式協(xié)作，Yarn資源管理器，Hive數(shù)據(jù)倉庫，HBase實時協(xié)作數(shù)據(jù)庫，熟悉Spark內(nèi)存計算，熟悉MySQL/ORACLE數(shù)據(jù)庫安裝、管理、調(diào)優(yōu)、備份、容災(zāi)、安全等技能一般,熟悉MapReduce編程。熟悉Linux操作系統(tǒng)，熟悉shell，熟練運(yùn)用SecureCRT, Xshell，MyEclipse，F(xiàn)ileZilla Client等應(yīng)用軟件。