分享
定制
以下文章內(nèi)容,來自草堂君的新書《人人都會數(shù)據(jù)分析-從生活實例學統(tǒng)計》。
因為新書中增添和細化了很多知識點,所以草堂君會逐步將這些內(nèi)容補充到統(tǒng)計基礎導航頁中來,幫助大家建立數(shù)據(jù)分析思維。
限于篇幅,只截取書中部分內(nèi)容。
數(shù)據(jù)分析過程可以分為確定目標數(shù)據(jù)、數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲、數(shù)據(jù)分析、結(jié)果可視化及結(jié)果支持的決策等六個步驟。
隨著數(shù)據(jù)分析在各個領域發(fā)揮越來越重要的作用,針對不同數(shù)據(jù)分析步驟的軟硬件工具也很快發(fā)展起來。
下面我們介紹幾種重要的數(shù)據(jù)分析工具。
各類傳感器
數(shù)據(jù)可以通過很多方式進行采集。
例如,制作調(diào)查問卷,隨機抽取人群樣本填寫問卷,得到人群樣本的反饋數(shù)據(jù);人工觀察記錄也是過去常用的數(shù)據(jù)采集方式。
而在數(shù)據(jù)時代的今天,傳感器極大地改變了人工觀察記錄這種數(shù)據(jù)采集的場景,特別是溫度和濕度等容易量化測量的客觀指標。
雖然人類主觀意識類的數(shù)據(jù)依然需要通過問卷調(diào)查的方式進行獲取,不過作者相信不久的將來人類的意念也將伴隨科學技術的進步而能夠被量化,到時人類只需在腦中思考,不需表示就能將腦中的意念量化記錄下來。
傳感器是一種檢測裝置,能感受到被測量目標的信息,并將感受到的信息以一定的規(guī)律變換成電信號或其他形式的信號輸出,以滿足信息數(shù)據(jù)的傳輸、處理、存儲、顯示、記錄和控制等要求,是實現(xiàn)自動檢測和自動控制的首要設備。
傳感器是通過特殊材料制成的敏感元件,它能感知外界的各種信息,現(xiàn)在已經(jīng)商業(yè)化的敏感元件有熱敏元件、光敏元件、氣敏元件、力敏元件、磁性敏感元件、濕敏元件、聲波敏感元件、放射線敏感元件、色敏元件和味道敏感元件等十大類。
下面我們以溫度傳感器為例介紹傳感器的工作原理。
溫度傳感器的核心部分是熱敏材料。
熱敏材料的各種物理性質(zhì)會隨溫度的變化而出現(xiàn)規(guī)律的變化,且這種材料變化與溫度有一一對應的關系。
因此,溫度傳感器能夠?qū)囟绒D(zhuǎn)換為材料變化,再轉(zhuǎn)換為數(shù)字輸出信號,從而實現(xiàn)溫度的實時監(jiān)控。
溫度傳感器是溫度測量儀表的核心部分,種類繁多,按測量方式的不同,可以分為接觸式和非接觸式兩大類;按熱度敏感元件特性,又可以分為熱電阻和熱電偶兩類。
現(xiàn)代的溫度傳感器外形已經(jīng)非常小巧,能夠讓它們廣泛應用在生活實踐的各個環(huán)節(jié),為我們的生活提供了便利。
熱電偶溫度傳感器的熱度敏感元件是熱電偶,它是由兩種不同的導體或半導體組成的。
當兩種不同的導體或半導體組成一個回路,兩端相互連接時,只要兩結(jié)點處的溫度不同,那么回路中就會有電流產(chǎn)生,電流的大小會隨著溫度差的不同而變化,而電流的這種變化只與導體或半導體的組合有關,即不同的電流對應不同的溫度差,從而能夠感知檢測物體的溫度。
紅外溫度傳感器是另一種常用的溫度傳感器,例如,家庭常備的兒童耳部溫度計和體溫計里都有紅外溫度傳感器。
在自然界中,當物體的溫度高于絕對零度時,物體內(nèi)部就會存在分子熱運動,并不斷地向四周輻射電磁波,紅外溫度傳感器中的電磁波吸收材料能夠吸收物體輻射出來的電磁波,并轉(zhuǎn)化為熱能,同時傳感器中的熱敏材料又能夠?qū)崮苻D(zhuǎn)化為電壓。
因此,電壓與外界溫度就形成了比例關系,從而可以檢測出外界物體的溫度。
各種數(shù)據(jù)分析軟件
數(shù)據(jù)分析過程的所有步驟中,只有數(shù)據(jù)采集的步驟需要特殊的硬件采集或通過人工采集,當數(shù)據(jù)被采集并被錄入到計算機以后,其他的數(shù)據(jù)分析步驟都可以在數(shù)據(jù)分析軟件中完成。
下面我們介紹幾種常用的數(shù)據(jù)分析軟件,它們都有各自的優(yōu)勢與劣勢,大家可以根據(jù)實際情況選擇合適的軟件進行學習和使用。
Excel辦公軟件
Excel常被歸類到辦公軟件的類別中,作為辦公室級別的數(shù)據(jù)處理軟件,必然會包括一些基本的數(shù)據(jù)統(tǒng)計分析功能,但是隨著數(shù)據(jù)分析要求的提高,在數(shù)據(jù)統(tǒng)計分析方面的缺陷也將逐步表現(xiàn)出來,因此,Excel只適合于處理簡單的數(shù)據(jù)分析問題。
從Excel2010版本開始,Excel增加了數(shù)據(jù)分析工具包,工具包不能直接使用,而是需要使用者手動加載后才能顯示菜單欄中。
具體內(nèi)容可以參考文章鏈接:Excel數(shù)據(jù)分析工具(導航頁)。
SPSS數(shù)據(jù)統(tǒng)計分析軟件
SPSS是最著名的專業(yè)數(shù)據(jù)統(tǒng)計分析軟件之一,已經(jīng)被廣泛運用在市場營銷、教育、體育、醫(yī)學等領域。
SPSS的英文全稱為Statistical Package for the Social Science ,翻譯成中文就是社會科學統(tǒng)計程序包。
SPSS軟件的特點是操作比較方便,統(tǒng)計方法齊全,能夠直接輸出數(shù)據(jù)分析結(jié)果的統(tǒng)計圖形和數(shù)值表格。
SPSS的使用可以參考文章鏈接:SPSS分析技術(導航頁)。
SPSS統(tǒng)計分析方法包括描述性統(tǒng)計、均值比較、一般線性模型、相關分析、回歸分析、對數(shù)線性模型、聚類分析、數(shù)據(jù)簡化、生存分析、時間序列分析、多重響應等幾個大類。
每個大類里又有多個小類,例如,回歸分析這個大類中包括線性回歸分析、曲線估計、邏輯回歸、加權(quán)估計、兩階段最小二乘法、非線性回歸等多個小類。
SPSS還有專門的繪圖菜單,可以繪制各種統(tǒng)計圖形。
SPSS還能夠直接讀取Excel或Database的數(shù)據(jù)文件,這極大地方便了各種數(shù)據(jù)的提取和分析。
SPSS的優(yōu)勢是提供菜單和代碼語言操作、界面友好、分析操作方便,統(tǒng)計分析功能齊全;劣勢是數(shù)據(jù)錄入和整理方式比較死板,一般都是在Excel中將數(shù)據(jù)整理好后再導入SPSS中進行分析。
SAS數(shù)據(jù)分析軟件
SAS的英文全稱是Statistical Analysis System,譯為統(tǒng)計分析系統(tǒng)。
SAS最初是由美國北卡羅來納州立大學的兩名研究生開發(fā)出來的,1976年創(chuàng)立了SAS公司。
SAS分析軟件具有十分完備的數(shù)據(jù)訪問、數(shù)據(jù)管理、數(shù)據(jù)分析功能,包括統(tǒng)計分析、經(jīng)濟計量分析、時間序列分析、決策分析、財務分析和全面質(zhì)量管理工具等。
SAS軟件是一個模塊組合式結(jié)構(gòu)的軟件系統(tǒng),共有30多個功能模塊。
SAS是用匯編語言編寫而成的,所以使用SAS需要編寫程序,這就決定了SAS比較適合統(tǒng)計專業(yè)人員使用,對于不是統(tǒng)計專業(yè)出身的使用者,學習SAS是比較困難的。
SAS的功能由模塊組成,其中基礎模塊為必需模塊,其他模塊可任意選擇安裝。
供選擇的模塊包括統(tǒng)計、矩陣運算、繪圖和全屏幕操作等20余個。
基礎模塊可以進行數(shù)據(jù)存儲、調(diào)入、追加、復制、文件處理、編寫報告、打印圖表、數(shù)據(jù)排序和分類等操作,同時能夠完成一些基本統(tǒng)計指標計算,例如,平均數(shù)和相關系數(shù)。
與SPSS相似,SAS可以與一些大型數(shù)據(jù)庫進行數(shù)據(jù)交換和通信。
基礎模塊是SAS軟件的核心模塊。
統(tǒng)計模塊提供高度可靠和完整的統(tǒng)計分析方法,主要有方差分析、線性相關和回歸分析,以及非參數(shù)測驗等共有26個統(tǒng)計分析大類,每個大類還提供適用不同情況的小類,這使得SAS軟件成為一個全面、細致、科學的統(tǒng)計分析軟件。
SAS分析軟件的優(yōu)勢是程序龐大、統(tǒng)計分析功能強大,特別始于大數(shù)據(jù)量的數(shù)據(jù)分析;劣勢是費用較高、升級頻繁、兼容性差、采用編程語言操作、學習難度大。
R統(tǒng)計分析軟件
R是包含數(shù)據(jù)處理、計算和制圖的軟件系統(tǒng),它的功能包括數(shù)據(jù)存儲和處理、數(shù)組運算、統(tǒng)計分析工具、優(yōu)秀的統(tǒng)計制圖功能。
R統(tǒng)計分析軟件通過編程語言進行控制和操作,該語言在語法上類似于C語言。
因為R統(tǒng)計分析軟件是通過編程語言進行操作的,所以想要利用R進行統(tǒng)計分析,需要經(jīng)過一段編程語言的熟悉過程。
草堂君將會在AMOS軟件介紹完畢后,開始介紹R統(tǒng)計分析軟件。
R是一個完全免費的開源軟件,它有適用于不同操作系統(tǒng)的版本,可以從R的官方網(wǎng)站上免費下載和使用。
在R的基礎安裝程序中只包含8個基礎模塊,其他模塊是以“包”的形式存在的,不同的包適用于不同的統(tǒng)計分析過程,用戶可以根據(jù)需要下載。
這些“包”是由全球的數(shù)據(jù)分析愛好者自愿編制和上傳的,所以“包”的數(shù)量還在快速增長。
R的優(yōu)勢是體積小巧、免費開源、各種不同應用場景的功能包豐富;劣勢是用編程語言操作、學習難度大、入門比較困難。
Minitab質(zhì)量管理軟件
Minitab軟件是專注于質(zhì)量管理的統(tǒng)計分析軟件,最初由美國賓夕法尼亞州立大學開發(fā)。
Minitab軟件的特點是簡單易懂,很方便進行實驗設計及質(zhì)量控制。
因此,被廣泛應用于世界各國的制造企業(yè),例如,通用電氣、福特汽車、通用汽車、3M、霍尼韋爾、LG、東芝和松下等外國企業(yè);在中國也有很多著名的客戶,包括寶鋼、徐工集團、海爾、中國航天集團、中鐵、中國建設銀行、浦發(fā)銀行、太平人壽、北大光華學院、中歐國際工商學院、華中科大、武漢理工、華東理工等。
Minitab質(zhì)量管理軟件的設計處處體現(xiàn)了質(zhì)量管理的思想,提供產(chǎn)品質(zhì)量管理所必需的數(shù)據(jù)統(tǒng)計分析工具,包括假設檢驗、回歸分析、方差分析、時間序列分析等,除此之外,Minitab的統(tǒng)計圖表功能也是異常強大,能夠制作散點圖、點圖、矩陣圖、直方圖、莖葉圖、箱線圖、概率圖、概率分布圖、邊際圖、矩陣圖、單值圖、餅圖、區(qū)間圖、帕累托圖、魚骨圖和運行圖等。
Minitab還能夠和生產(chǎn)設備系統(tǒng)連接,對生產(chǎn)過程實施實時監(jiān)控。
Minitab質(zhì)量管理軟件的優(yōu)勢是菜單式操作,專業(yè)性的質(zhì)量管理軟件,包含各種質(zhì)量管理分析工具;劣勢是費用較高、升級頻繁、統(tǒng)計分析功能有待加強。
總結(jié)一下
數(shù)據(jù)分析軟件能夠幫助數(shù)據(jù)分析師在短時間內(nèi)完成復雜的數(shù)據(jù)分析計算過程,輸出準確的數(shù)據(jù)分析結(jié)果,提高工作效率,所以熟練掌握一到兩種統(tǒng)計數(shù)據(jù)分析軟件是數(shù)據(jù)分析師的基本要求。
除以上提到的幾種常用統(tǒng)計分析軟件以外,還有很多其他的統(tǒng)計分析軟件,例如,Python軟件、Eview統(tǒng)計軟件、Stata統(tǒng)計軟件、BMDP軟件、Epinfo統(tǒng)計軟件、SPLM統(tǒng)計軟件和CHISS統(tǒng)計軟件等,這些統(tǒng)計分析軟件都各有特點,但是核心的統(tǒng)計分析過程都是類似的,大家在學習統(tǒng)計分析軟件時,可以根據(jù)自己的實際要,選擇其中的一到兩種軟件進行學習即可,不必要花費大量時間,做到樣樣精通。
【使用錘子簡歷小程序制作簡歷】
零經(jīng)驗實習簡歷模板
21254人用過
學生求職簡歷模板
52754人用過
申請研究生簡歷模板
2324人用過
經(jīng)典工作簡歷模板
6254人用過
投行咨詢簡歷模板
12465人用過
產(chǎn)品經(jīng)理簡歷模板
7532人用過
程序員簡歷模板
7457人用過
留學英文簡歷模板
4554人用過