循環(huán)神經(jīng)網(wǎng)絡(luò)(如何有效的區(qū)分和理解RNN循環(huán)神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò))

1.如何有效的區(qū)分和理解RNN循環(huán)神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)

recurrent： 時(shí)間維度的展開(kāi)，代表信息在時(shí)間維度從前往后的的傳遞和積累，可以類比markov假設(shè)，后面的信息的概率建立在前面信息的基礎(chǔ)上，在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上表現(xiàn)為后面的神經(jīng)網(wǎng)絡(luò)的隱藏層的輸入是前面的神經(jīng)網(wǎng)絡(luò)的隱藏層的輸出；recursive： 空間維度的展開(kāi)，是一個(gè)樹(shù)結(jié)構(gòu)，比如nlp里某句話，用recurrent neural network來(lái)建模的話就是假設(shè)句子后面的詞的信息和前面的詞有關(guān)，而用recurxive neural network來(lái)建模的話，就是假設(shè)句子是一個(gè)樹(shù)狀結(jié)構(gòu)，由幾個(gè)部分（主語(yǔ)，謂語(yǔ)，賓語(yǔ)）組成，而每個(gè)部分又可以在分成幾個(gè)小部分，即某一部分的信息由它的子樹(shù)的信息組合而來(lái)，整句話的信息由組成這句話的幾個(gè)部分組合而來(lái)。

2.神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）的幾個(gè)基礎(chǔ)概念

從廣義上說(shuō)深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)也是多層神經(jīng)網(wǎng)絡(luò)的一種。

傳統(tǒng)意義上的多層神經(jīng)網(wǎng)絡(luò)是只有輸入層、隱藏層、輸出層。其中隱藏層的層數(shù)根據(jù)需要而定，沒(méi)有明確的理論推導(dǎo)來(lái)說(shuō)明到底多少層合適。

而深度學(xué)習(xí)中最著名的卷積神經(jīng)網(wǎng)絡(luò)CNN，在原來(lái)多層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，加入了特征學(xué)習(xí)部分，這部分是模仿人腦對(duì)信號(hào)處理上的分級(jí)的。具體操作就是在原來(lái)的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個(gè)層級(jí)。

輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- 。. -- 隱藏層 -輸出層簡(jiǎn)單來(lái)說(shuō)，原來(lái)多層神經(jīng)網(wǎng)絡(luò)做的步驟是：特征映射到值。

特征是人工挑選。深度學(xué)習(xí)做的步驟是 信號(hào)->特征->值。

特征是由網(wǎng)絡(luò)自己選擇。

3.自學(xué)bp神經(jīng)網(wǎng)絡(luò)要有什么基礎(chǔ)

簡(jiǎn)介：BP(Back Propagation)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。

BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。

BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層（hide layer）和輸出層（output layer） 摘 要：BP神經(jīng)網(wǎng)絡(luò)算法是在BP神經(jīng)網(wǎng)絡(luò)現(xiàn)有算法的基礎(chǔ)上提出的，是通過(guò)任意選定一組權(quán)值，將給定的目標(biāo)輸出直接作為線性方程的代數(shù)和來(lái)建立線性方程組，解得待求權(quán)，不存在傳統(tǒng)方法的局部極小及收斂速度慢的問(wèn)題，且更易理解。 關(guān)鍵詞：固定權(quán)值；gauss消元法；BP算法 人工神經(jīng)網(wǎng)絡(luò)（artificial neural networks,ANN）系統(tǒng)是20世紀(jì)40年代后出現(xiàn)的，它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行處理、分布式信息存儲(chǔ)、良好的自組織自學(xué)習(xí)能力等特點(diǎn)，在信息處理、模式識(shí)別、智能控制及系統(tǒng)建模等領(lǐng)域得到越來(lái)越廣泛的應(yīng)用。

尤其誤差反向傳播算法（Error Back-propagation Training，簡(jiǎn)稱BP網(wǎng)絡(luò)）可以逼近任意連續(xù)函數(shù)，具有很強(qiáng)的非線性映射能力，而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，所以它在許多應(yīng)用領(lǐng)域中起到重要作用。近年來(lái)，為了解決BP神經(jīng)網(wǎng)絡(luò)收斂速度慢、不能保證收斂到全局最小點(diǎn)，網(wǎng)絡(luò)的中間層及它的單元數(shù)選取無(wú)理論指導(dǎo)及網(wǎng)絡(luò)學(xué)習(xí)和記憶的不穩(wěn)定性等缺陷，提出了許多改進(jìn)算法。

1 傳統(tǒng)的BP算法簡(jiǎn)述 BP算法是一種有監(jiān)督式的學(xué)習(xí)算法，其主要思想是：輸入學(xué)習(xí)樣本，使用反向傳播算法對(duì)網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行反復(fù)的調(diào)整訓(xùn)練，使輸出的向量與期望向量盡可能地接近，當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差時(shí)訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏差。具體步驟如下： （1）初始化，隨機(jī)給定各連接權(quán)[w],[v]及閥值θi,rt。

(2)由給定的輸入輸出模式對(duì)計(jì)算隱層、輸出層各單元輸出 bj=f（■wijai-θj） ct=f（■vjtbj-rt） 式中：bj為隱層第j個(gè)神經(jīng)元實(shí)際輸出；ct為輸出層第t個(gè)神經(jīng)元的實(shí)際輸出；wij為輸入層至隱層的連接權(quán)；vjt為隱層至輸出層的連接權(quán)。 dtk=(ytk-ct)ct(1-ct) ejk=[■dtvjt] bj(1-bj) 式中：dtk為輸出層的校正誤差；ejk為隱層的校正誤差。

（3）計(jì)算新的連接權(quán)及閥值，計(jì)算公式如下： vjt(n+1)=vjt(n)+琢dtkbj wij(n+1)=wij(n)+茁ejkaik rt(n+1)=rt(n)+琢dtk θj(n+1)=θj(n)+茁ejk 式中：琢，茁為學(xué)習(xí)系數(shù)（0。

4.神經(jīng)網(wǎng)絡(luò)具體是指什么

神經(jīng)網(wǎng)絡(luò)是利用大量的神經(jīng)元按一定的拓?fù)浣Y(jié)構(gòu)和學(xué)習(xí)調(diào)整方法。

它能表示出豐富的特性：并行計(jì)算、分布存儲(chǔ)、可變結(jié)構(gòu)、高度容錯(cuò)、非線性運(yùn)算、自我組織、學(xué)習(xí)或自學(xué)習(xí)等。這些特性是人們長(zhǎng)期追求和期望的系統(tǒng)特性。

它在智能控制的參數(shù)、結(jié)構(gòu)或環(huán)境的自適應(yīng)、自組織、自學(xué)習(xí)等控制方面具有獨(dú)特的能力。 神經(jīng)網(wǎng)絡(luò)可以和模糊邏輯一樣適用于任意復(fù)雜對(duì)象的控制，但它與模糊邏輯不同的是擅長(zhǎng)單輸入多輸出系統(tǒng)和多輸入多輸出系統(tǒng)的多變量控制。

在模糊邏輯表示的SIMO系統(tǒng)和MIMO系統(tǒng)中，其模糊推理、解模糊過(guò)程以及學(xué)習(xí)控制等功能常用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。模糊神經(jīng)網(wǎng)絡(luò)技術(shù)和神經(jīng)模糊邏輯技術(shù)：模糊邏輯和神經(jīng)網(wǎng)絡(luò)作為智能控制的主要技術(shù)已被廣泛應(yīng)用。

兩者既有相同性又有不同性。其相同性為：兩者都可作為萬(wàn)能逼近器解決非線性問(wèn)題，并且兩者都可以應(yīng)用到控制器設(shè)計(jì)中。

不同的是：模糊邏輯可以利用語(yǔ)言信息描述系統(tǒng)，而神經(jīng)網(wǎng)絡(luò)則不行；模糊邏輯應(yīng)用到控制器設(shè)計(jì)中，其參數(shù)定義有明確的物理意義，因而可提出有效的初始參數(shù)選擇方法；神經(jīng)網(wǎng)絡(luò)的初始參數(shù)（如權(quán)值等）只能隨機(jī)選擇。 但在學(xué)習(xí)方式下，神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)各種訓(xùn)練，其參數(shù)設(shè)置可以達(dá)到滿足控制所需的行為。

模糊邏輯和神經(jīng)網(wǎng)絡(luò)都是模仿人類大腦的運(yùn)行機(jī)制，可以認(rèn)為神經(jīng)網(wǎng)絡(luò)技術(shù)模仿人類大腦的硬件，模糊邏輯技術(shù)模仿人類大腦的軟件。根據(jù)模糊邏輯和神經(jīng)網(wǎng)絡(luò)的各自特點(diǎn)，所結(jié)合的技術(shù)即為模糊神經(jīng)網(wǎng)絡(luò)技術(shù)和神經(jīng)模糊邏輯技術(shù)。

模糊邏輯、神經(jīng)網(wǎng)絡(luò)和它們混合技術(shù)適用于各種學(xué)習(xí)方式智能控制的相關(guān)技術(shù)與控制方式結(jié)合或綜合交叉結(jié)合，構(gòu)成風(fēng)格和功能各異的智能控制系統(tǒng)和智能控制器是智能控制技術(shù)方法的一個(gè)主要特點(diǎn).智能控制模糊控制系統(tǒng)所謂模糊控制，就是在被控制對(duì)象的模糊模型的基礎(chǔ)上，運(yùn)用模糊控制器近似推理手段，實(shí)現(xiàn)系統(tǒng)控制的一種方法。 模糊模型是用模糊語(yǔ)言和規(guī)則描述的一個(gè)系統(tǒng)的動(dòng)態(tài)特性及性能指標(biāo)。

模糊控制的基本思想是用機(jī)器去模擬人對(duì)系統(tǒng)的控制。它是受這樣事實(shí)而啟發(fā)的：對(duì)于用傳統(tǒng)控制理論無(wú)法進(jìn)行分析和控制的復(fù)雜的和無(wú)法建立數(shù)學(xué)模型的系統(tǒng)，有經(jīng)驗(yàn)的操作者或?qū)＜覅s能取得比較好的控制效果，這是因?yàn)樗麄儞碛腥辗e月累的豐富經(jīng)驗(yàn)，因此人們希望把這種經(jīng)驗(yàn)指導(dǎo)下的行為過(guò)程總結(jié)成一些規(guī)則，并根據(jù)這些規(guī)則設(shè)計(jì)出控制器。

然后運(yùn)用模糊理論，模糊語(yǔ)言變量和模糊邏輯推理的知識(shí)，把這些模糊的語(yǔ)言上升為數(shù)值運(yùn)算，從而能夠利用計(jì)算機(jī)來(lái)完成對(duì)這些規(guī)則的具體實(shí)現(xiàn)，達(dá)到以機(jī)器代替人對(duì)某些對(duì)象進(jìn)行自動(dòng)控制的目的。