大數(shù)據(jù)是一系列技術(shù)的統(tǒng)稱,經(jīng)過多年的發(fā)展,大數(shù)據(jù)已經(jīng)形成了從數(shù)據(jù)采集、整理、傳輸、存儲、安全、分析、呈現(xiàn)和應用等一系列環(huán)節(jié)。
零基礎(chǔ)學習大數(shù)據(jù)。如果你想學習這個最后找工作,我希望你慎重考慮。
一,如果你是計算機專業(yè)的,不管畢業(yè)與否,自學這個,比較好入門,并且以后找工作也算是專業(yè)對口。
二,如果你不是計算機專業(yè),并且已經(jīng)大學畢業(yè)了,自學就很費勁了,也更費時間,你沒有一個詳細的學習規(guī)劃簡直太浪費時間精力,最好是能報個班,有個系統(tǒng)的學習規(guī)劃要比一個人在家里啃書自學強的多。
大數(shù)據(jù)前景很好,目前國內(nèi)大數(shù)據(jù)人才缺乏,大數(shù)據(jù)的應用十分廣泛,大數(shù)據(jù)不僅包括企業(yè)內(nèi)部應用系統(tǒng)的數(shù)據(jù)分析,還包括與行業(yè)、產(chǎn)業(yè)的深度融合。
每個城市所存在的機構(gòu)都不一樣。最好選擇覆蓋地區(qū)廣的,比較權(quán)威的培訓機構(gòu)。大數(shù)據(jù)的專業(yè)要求很高。目前敢培訓大數(shù)據(jù)的學校都是具備一定專業(yè)性的,主要看看是否能提供真實的案例來供學生們分析來進行專業(yè)性的判斷。多看看網(wǎng)絡上的口碑?,F(xiàn)在的培訓費用都很高,基本在1-2W之間,大數(shù)據(jù)會更貴一點,1.5W-2.5W。培訓行業(yè)普遍都這個價,包括孩子的家教費用也無敵,你懂得。
如果自學的話,就要選好學習資料,最好身邊有一個懂一些技術(shù)的可以幫助指導。有毅力堅持下去。以下給你一些方向。
需要掌握的專業(yè)技術(shù):
堅實的Java技術(shù)作為基礎(chǔ)支持,之后學習:Hadoop,大數(shù)據(jù)存儲,大數(shù)據(jù)架構(gòu)設(shè)計,大數(shù)據(jù)實時計算,大數(shù)據(jù)數(shù)據(jù)采集,大數(shù)據(jù)商業(yè)實戰(zhàn)等。
技術(shù)人員就業(yè)方向:大數(shù)據(jù)系統(tǒng)研發(fā)人才,大數(shù)據(jù)應用開發(fā)人才和大數(shù)據(jù)分析人才。
第一個問題:大數(shù)據(jù)好不好學?
總結(jié)了一下幾種情況,供參考。
1.對于有開發(fā)經(jīng)驗的同學來說,學大數(shù)據(jù)還是比較容易的,比如你現(xiàn)在是做JAVA開發(fā)的,那么你轉(zhuǎn)行大數(shù)據(jù)做JAVA大數(shù)據(jù)開發(fā),只需要把大數(shù)據(jù)框以及相關(guān)大數(shù)據(jù)技術(shù)學到,再輔以一定的項目練習,基本就可以干活了;如果你現(xiàn)在是做的Python開發(fā),同樣你也只需要學好大數(shù)據(jù)框架以及相關(guān)技術(shù),再輔以相關(guān)項目就可以從事Python大數(shù)據(jù)開發(fā)了。
2.如果你是零基礎(chǔ),學習能力一般,在理解概念會稍微慢一點,比如學到JAVA面向?qū)ο蟮臅r候,這部分同學就比較懵了,但是只要肯付出,愿意多問,愿意去琢磨,也能得到理想的結(jié)果。
3.零基礎(chǔ)學習能力很強,比如畢業(yè)于211、985高校,相對來說,學起來就比較輕松。在我們的大數(shù)據(jù)培訓班,50%以上都是這樣的學生,不得不說,學習能力強,學啥都快,不光是編程。
第一種有開發(fā)經(jīng)驗,他們會去主動學習;第三種學習能力強,他們相信自己能學會。但第二種他們?nèi)狈ψ孕牛彩潜容^猶豫的一部分人。
三種人中,也以第二種學生居多。如果想轉(zhuǎn)行,三點建議,可供參考。
1.不要猶豫,先學。先找學習資料,從零開始學,只有你真的開始去學了,才能知道好不好學。
2.統(tǒng)招本科學歷,學大數(shù)據(jù),找大數(shù)據(jù)開發(fā)工作。目前一線城市的企業(yè),對大數(shù)據(jù)開發(fā)工程師的學歷要求都是本科。
3.大專學歷,學JAVA,找JAVA開發(fā)工作。學歷不夠,先把JAVA學好,找一份JAVA開發(fā)工作,如果對大數(shù)據(jù)感興趣,可做2年JAVA開發(fā)后,再轉(zhuǎn)大數(shù)據(jù),用開發(fā)經(jīng)驗來彌補學歷的短板。
希望對你有幫助~
大數(shù)據(jù)聽起來高大上,真正了解大數(shù)據(jù)的2113人都清楚大數(shù)據(jù)行業(yè)是非常辛苦的。大數(shù)據(jù)的內(nèi)容涉及到較多的基礎(chǔ)內(nèi)容,只有把基礎(chǔ)內(nèi)容融會貫通以后,才會往更高一層的數(shù)據(jù)分析師前進。
首先,想零基礎(chǔ)學習大數(shù)據(jù)分析工5261作,一般最好有個本科的學歷,大專也行。只是??茖W歷即4102使掌握了一定的大數(shù)據(jù)分析技術(shù),在就業(yè)市場上的核心競爭力比較低,現(xiàn)在用人單位對于數(shù)據(jù)分析1653的職位的最低要求是本科及以上學歷。
零基礎(chǔ)學習大數(shù)據(jù)分析工作,需要有一定的編程能力,編程能力是可以練習與提升的。
目前大數(shù)據(jù)行業(yè)對于對于人才的要求也比較全面且嚴格。對于高級的大數(shù)據(jù)分析人才,會SAS、R、PYTHON三個軟件中的一個或者多個是基礎(chǔ)的要求,回同時要求有一定的數(shù)理統(tǒng)計基礎(chǔ),這是對專業(yè)知識的要求,懂業(yè)務、有邏輯答、對數(shù)據(jù)敏感、能夠?qū)懛治鰣蟾妗⒂脭?shù)據(jù)解決實際問題,這是對數(shù)據(jù)分析人才的高級要求。
首先我們要了解Java語言和Linux操作系統(tǒng),這兩個是學習大數(shù)據(jù)的基礎(chǔ),學習的順序不分前后。
Java :只要了解一些基礎(chǔ)即可,做大數(shù)據(jù)不需要很深的Java 技術(shù),學java SE 就相當于有學習大數(shù)據(jù)基礎(chǔ)。Linux:因為大數(shù)據(jù)相關(guān)軟件都是在Linux上運行的,所以Linux要學習的扎實一些,學好Linux對你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會有很大的幫助,能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡環(huán)境配置,能少踩很多坑,學會shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。
還能讓你對以后新出的大數(shù)據(jù)技術(shù)學習起來更快。Hadoop:這是現(xiàn)在流行的大數(shù)據(jù)處理平臺幾乎已經(jīng)成為大數(shù)據(jù)的代名詞,所以這個是必學的。
Hadoop里面包括幾個組件HDFS、MapReduce和YARN,HDFS是存儲數(shù)據(jù)的地方就像我們電腦的硬盤一樣文件都存儲在這個上面,MapReduce是對數(shù)據(jù)進行處理計算的,它有個特點就是不管多大的數(shù)據(jù)只要給它時間它就能把數(shù)據(jù)跑完,但是時間可能不是很快所以它叫數(shù)據(jù)的批處理。Zookeeper:這是個萬金油,安裝Hadoop的HA的時候就會用到它,以后的Hbase也會用到它。
它一般用來存放一些相互協(xié)作的信息,這些信息比較小一般不會超過1M,都是使用它的軟件對它有依賴,對于我們個人來講只需要把它安裝正確,讓它正常的run起來就可以了。Mysql:我們學習完大數(shù)據(jù)的處理了,接下來學習學習小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫,因為一會裝hive的時候要用到,mysql需要掌握到什么層度那?你能在Linux上把它安裝好,運行起來,會配置簡單的權(quán)限,修改root的密碼,創(chuàng)建數(shù)據(jù)庫。
這里主要的是學習SQL的語法,因為hive的語法和這個非常相似。Sqoop:這個是用于把Mysql里的數(shù)據(jù)導入到Hadoop里的。
當然你也可以不用這個,直接把Mysql數(shù)據(jù)表導出成文件再放到HDFS上也是一樣的,當然生產(chǎn)環(huán)境中使用要注意Mysql的壓力。Hive:這個東西對于會SQL語法的來說就是神器,它能讓你處理大數(shù)據(jù)變的很簡單,不會再費勁的編寫MapReduce程序。
有的人說Pig那?它和Pig差不多掌握一個就可以了。Oozie:既然學會Hive了,我相信你一定需要這個東西,它可以幫你管理你的Hive或者MapReduce、Spark腳本,還能檢查你的程序是否執(zhí)行正確,出錯了給你發(fā)報警并能幫你重試程序,最重要的是還能幫你配置任務的依賴關(guān)系。
我相信你一定會喜歡上它的,不然你看著那一大堆腳本,和密密麻麻的crond是不是有種想屎的感覺。Hbase:這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫,他的數(shù)據(jù)是按照key和value的形式存儲的并且key是唯一的,所以它能用來做數(shù)據(jù)的排重,它與MYSQL相比能存儲的數(shù)據(jù)量大很多。
所以他常被用于大數(shù)據(jù)處理完成之后的存儲目的地。Kafka:這是個比較好用的隊列工具,隊列是干嗎的?排隊買票你知道不?數(shù)據(jù)多了同樣也需要排隊處理,這樣與你協(xié)作的其它同學不會叫起來,你干嗎給我這么多的數(shù)據(jù)(比如好幾百G的文件)我怎么處理得過來,你別怪他因為他不是搞大數(shù)據(jù)的,你可以跟他講我把數(shù)據(jù)放在隊列里你使用的時候一個個拿,這樣他就不在抱怨了馬上灰流流的去優(yōu)化他的程序去了,因為處理不過來就是他的事情。
而不是你給的問題。當然我們也可以利用這個工具來做線上實時數(shù)據(jù)的入庫或入HDFS,這時你可以與一個叫Flume的工具配合使用,它是專門用來提供對數(shù)據(jù)進行簡單處理,并寫到各種數(shù)據(jù)接受方(比如Kafka)的。
Spark:它是用來彌補基于MapReduce處理數(shù)據(jù)速度上的缺點,它的特點是把數(shù)據(jù)裝載到內(nèi)存中計算而不是去讀慢的要死進化還特別慢的硬盤。特別適合做迭代運算,所以算法流們特別稀飯它。
它是用scala編寫的。Java語言或者Scala都可以操作它,因為它們都是用JVM的。
聲明:本網(wǎng)站尊重并保護知識產(chǎn)權(quán),根據(jù)《信息網(wǎng)絡傳播權(quán)保護條例》,如果我們轉(zhuǎn)載的作品侵犯了您的權(quán)利,請在一個月內(nèi)通知我們,我們會及時刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學習鳥. 頁面生成時間:3.583秒