信息論基礎(chǔ)屬于什么知識體系(信息論基礎(chǔ)的介紹)

1.信息論基礎(chǔ)的介紹

《信息論基礎(chǔ)》是2008年人民郵電出版社出版圖書。作者為田寶玉、楊潔、賀志強(qiáng)、王曉湘。該書為高等學(xué)校信息與計算科學(xué)專業(yè)本科生編寫的教材。內(nèi)容包括概率論的基礎(chǔ)知識，香農(nóng)提出的有關(guān)信息量化的基本概念、方法和定理，以及信源的基本編碼理論和信道的基本編碼理論。

2.信息論是什么

信息論 開放分類： 哲學(xué)、信息 總述 （來源： 信息論 南豐公益書院 ） 信息論 信息論是運(yùn)用概率論與數(shù)理統(tǒng)計的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學(xué)、數(shù)據(jù)壓縮等問題的應(yīng)用數(shù)學(xué)學(xué)科。

信息論將信息的傳遞作為一種統(tǒng)計現(xiàn)象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。

這兩個方面又由信息傳輸定理、信源-信道隔離定理相互聯(lián)系。 香農(nóng)被稱為是“信息論之父”。

人們通常將香農(nóng)于1948年10月發(fā)表于《貝爾系統(tǒng)技術(shù)學(xué)報》上的論文《A Mathematical Theory of Communication》（通信的數(shù)學(xué)理論）作為現(xiàn)代信息論研究的開端。這一文章部分基于哈里·奈奎斯特和拉爾夫·哈特利先前的成果。

在該文中，香農(nóng)給出了信息熵（以下簡稱為“熵”）的定義： H = - ∑ pilogpi i 這一定義可以用來推算傳遞經(jīng)二進(jìn)制編碼后的原信息所需的信道帶寬。熵度量的是消息中所含的信息量，其中去除了由消息的固有結(jié)構(gòu)所決定的部分，比如，語言結(jié)構(gòu)的冗余性以及語言中字母、詞的使用頻度等統(tǒng)計特性。

南豐公益書院 信息論中熵的概念與物理學(xué)中的熱力學(xué)熵有著緊密的聯(lián)系。玻耳茲曼與吉布斯在統(tǒng)計物理學(xué)中對熵做了很多的工作。

信息論中的熵也正是受之啟發(fā)。 互信息（Mutual Information）是另一有用的信息度量，它是指兩個事件集合之間的相關(guān)性。

兩個事件X和Y的互信息定義為： I(X,Y) = H(X) + H(Y) - H(X,Y) 其中 H(X,Y) 是聯(lián)合熵（Joint Entropy），其定義為： H(X,Y) = - ∑ p(x,y)logp(x,y) x,y 互信息與多元對數(shù)似然比檢驗(yàn)以及皮爾森χ2校驗(yàn)有著密切的聯(lián)系。 應(yīng)用 信息論被廣泛應(yīng)用在： 南豐公益書院 編碼學(xué) 密碼學(xué)與密碼分析學(xué) 數(shù)據(jù)傳輸 數(shù)據(jù)壓縮 檢測理論 估計理論 信息論第一定律 信息論是一門用數(shù)理統(tǒng)計方法來研究信息的度量、傳遞和變換規(guī)律的科學(xué)。

它主要是研究通訊和控制系統(tǒng)中普遍存在著信息傳遞的共同規(guī)律以及研究最佳解決信息的獲限、度量、變換、儲存和傳遞等問題的基礎(chǔ)理論。 信息論的研究范圍極為廣闊。

一般把信息論分成三種不同類型： （1）狹義信息論是一門應(yīng)用數(shù)理統(tǒng)計方法來研究信息處理和信息傳遞的科學(xué)。它研究存在于通訊和控制系統(tǒng)中普遍存在著的信息傳遞的共同規(guī)律，以及如何提高各信息傳輸系統(tǒng)的有效性和可靠性的一門通訊理論。

（2）一般信息論主要是研究通訊問題，但還包括噪聲理論、信號濾波與預(yù)測、調(diào)制與信息處理等問題。 （3）廣義信息論不僅包括狹義信息論和一般信息論的問題，而且還包括所有與信息有關(guān)的領(lǐng)域，如心理學(xué)、語言學(xué)、神經(jīng)心理學(xué)、語義學(xué)等。

信息就是一種消息，它與通訊問題密切相關(guān)。1984年貝爾研究所的申農(nóng)在題為《通訊的數(shù)學(xué)理論》的論文中系統(tǒng)地提出了關(guān)于信息的論述，創(chuàng)立了信息論。

維納提出的關(guān)于度量信息量的數(shù)學(xué)公式開辟了信息論的廣泛應(yīng)用前景。1951年美國無線電工程學(xué)會承認(rèn)信息論這門學(xué)科，此后得到迅速發(fā)展。

20世紀(jì)50年代是信息論向各門學(xué)科沖擊的時期，60年代信息論不是重大的創(chuàng)新時期，而是一個消化、理解的時期，是在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時期。研究重點(diǎn)是信息和信源編碼問題。

到70年代，由于數(shù)字計算機(jī)的廣泛應(yīng)用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認(rèn)識到信息的重要性，認(rèn)識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。

信息的概念和方法已廣泛滲透到各個科學(xué)領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎(chǔ)理論，從而推動其他許多新興學(xué)科進(jìn)一步發(fā)展。目前，人們已把早先建立的有關(guān)信息的規(guī)律與理論廣泛應(yīng)用于物理學(xué)、化學(xué)、生物學(xué)等學(xué)科中去。

一門研究信息的產(chǎn)生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學(xué)正在形成。 信息科學(xué)是人們在對信息的認(rèn)識與利用不斷擴(kuò)大的過程中，在信息論、電子學(xué)、計算機(jī)科學(xué)、人工智能、系統(tǒng)工程學(xué)、自動化技術(shù)等多學(xué)科基礎(chǔ)上發(fā)展起來的一門邊緣性新學(xué)科。

它的任務(wù)主要是研究信息的性質(zhì)，研究機(jī)器、生物和人類關(guān)于各種信息的獲取、變換、傳輸、處理、利用和控制的一般規(guī)律，設(shè)計和研制各種信息機(jī)器和控制設(shè)備，實(shí)現(xiàn)操作自動化，以便盡可能地把人腦從自然力的束縛下解放出來，提高人類認(rèn)識世界和改造世界的能力。信息科學(xué)在安全問題的研究中也有著重要應(yīng)用。

——摘自《安全科學(xué)技術(shù)百科全書》（中國勞動社會保障出版社，2003年6月出版）。