類神經網路

(一)、類神經網路是「一種基於腦與神經系統研究 所啟發的資訊處理技術」。

1、它可以利用一組系統輸入與輸出所組成的資 料，建立系統模型(參考圖1-1)有了這樣的系統模型便可用於推估，預測，決策，診斷。

　

　　　　　　輸入真實系統輸出

　　　　輸入系統模型(類神經網路)輸出

　　　　(圖1-1)真實系統與系統模型（類神經網路）之比較

2、一個類神經網路是由許多個人工神經元與其連

結所組成，並且可組成各種網路拓撲，其中以

「前向網路」應用最為普遍。一個前向網路

（圖1-2）包含許多層，每一層包含若干個處

理單元，輸入層處理單元用以輸入外在環境的

訊息（輸入值），輸出層處理單元用以輸入外在

環境的訊息給外在環境（輸出值），此外，一個

層狀神經網路經常包含若干層隱藏層。

隱藏層的存在提供類神經網路表現處理單元間

的交互作用與問題的內在結構的能力。

輸入層 　隱藏層 　輸出層

(圖1-2)類神經網路模型

3、前向類神經網路的術語及概念說明:

  1. 推論過程：在推論時，網路激發訊號的傳遞均

    2. 是從輸入層開始，經由若干層隱藏層，最後到達

    輸出層。

  2. 學習過程：在學習時，誤差訊息的傳遞是從輸出層開始，經由若干層隱藏層，最後到達輸入層，並在誤差訊號的傳遞過程修正連接上的加權值大小。

    3. 　

  3. 訓練範例：一個訓練範例包括一組輸入處理單元的輸入值，與一組輸出處理單元的輸出值。
    4.

     4.學習演算法：一種修正連結中的加權值的演算法，可從一組訓練範　　例中學習隱含的知識。

4、類神經網路的應用依其輸出變數之特性可分成 二大類（圖1-3）

(1) 函數型問題:網路的輸出為一個連續值的變數

例:　物理化學變量、經濟社會變量

(2) 分類型問題:網路的輸出為一個連續值的變數　　　　

例:   決策、診斷

　　輸入函數數值

　　輸入分類器分類

　　　　（圖1-3）類神經網路的應用: 依輸出變數之特性分類

我們模擬了此二類型問題，分別以座標呈現函 數型問題，以及訊號分類方式表現分類型問題， 因此，我們利用監督式學習網路模式中的倒傳遞網路原理來模擬。

(二)、有關倒傳遞網路:

1、網路架構：

倒傳遞類神經網路架構如圖1-4所示

輸入層　　 隱藏層 　　輸出層

　

　　(圖1-4)倒傳遞網路　

包含：

　　輸入層：用以表現網路的輸入變數 ，其處理單元數目依問題而定，使用線性轉換函數。 　　　

　　隱藏層:用以表現輸入處理單元間的交互影響其處理單元數目　　　　　　並無標準方法可以決定，經常需以試驗方式決定其最　　　　　　佳數目，使用非線性轉換函數，網路可以不只一層隱　　　　　　藏層，也可以沒有隱藏層。

　　　　輸出層:用以表現網路的輸出變數，其處理單元 數目依問題而　　　　　　　　定，使用非線性轉換函數。

　　2、處理單元其輸出值及輸入值的關係式如下：

　　　　……. (公式1)

　　　 …..(公式2)

其中

　 H=輸出變數，模仿生物神經元模型的輸出訊號

　ｆ=轉換函數，模仿生物神經元模型的非線性理

機能，是一個用以將從其他處理單元輸入的

輸入值轉換成處理單元輸出的數學公式。

　ｗ＝連結加權值，模仿生物神經元模型的突觸強度。

　　　ｘ＝輸入變數，模仿生物神經元模型的輸入訊號。

　　　ｋ＝門限值，模仿生物神經元模型的閥值，又稱偏權值。

　　　　　這種函數當自變數趨於正負無限大時，函數值趨

　　　　　於常數，其函數值域在〔0，1〕之間。

　3、網路演算法：

　倒傳遞演算法是應用一個訓練範例的一組輸入

　向量ｘ，與一組輸出向量Ｔ，修正網路加權值

　 Ｗ，而達到學習的目的。
  1. 因為監督式學習旨在降低網路輸出單元目標輸

出值與推論輸出值之差距。所以網路的學習過

程變成使誤差最小化的過程，通常以最陡坡降

法來使誤差最小化，學習過程中。

　　L=學習速率(learning rate)，控制每次以最陡坡降法最小化誤差值的　　　　步幅。

(2) 以下是網路學習過程：

a、設定網路參數－學習速率Ｌ，加權值Ｗ，

　　 偏權值ｋ。

b、輸入一組訓練範例的輸入向量ｘ，與目

　　 標輸出向量Ｔ。

c、計算推論輸出向量Ｈ

◎計算隱藏層輸出向量Ｈｍ

　　 …..(公式3)

　　　 ……(公式4)　　　　　　　　　　　　　　　　　　　　　 　　　

【其中Xi為第i個輸入單元輸入值，Ｗiｍ 為

第ｉ個輸入單元與第ｍ個隱藏單元間的連

接強度，Ｋｍ為第ｍ個隱藏層的閥值，Hm

為第ｍ個隱藏層輸出值】

　 ◎計算推論輸出向量Ｈj

　　　 …..(公式5)

　　　 ……(公式6)

【Hm為第ｍ個隱藏層輸出值，Ｗｍj 為

　第m個隱藏層與第j個輸出單元間的　　　　　　　

　　　　　　連接強度，Ｋj為第j個輸出單元的閥　　　　　　

　　　　　　值， Hj為第j個輸出單元推論輸出值】

　　　d、計算差距量G

　　　　 ◎(1)計算輸出層差距量Gj

　…(公式7)

【Tj為第j個輸出單元目標輸出值】

　　　　 ◎計算隱藏層差距量Ｇm

　　　　 ..(公式8)

e、計算加權值矩陣修正量ΔＷ，及偏權值向量

　　 修正量ΔＫ

◎ 計算輸出層加權值矩陣修正量ΔＷmj，

及偏權值向量修正量ΔＫj

…..(公式9)

　 ……(公式10)

及偏權值向量修正量ΔＫm

…..(公式11)

……(公式12)

f、更新加權值矩陣Ｗ，及偏權值向量Ｋ。

量Ｋmj

新…(公式13)

　 　　　　　新..(公式14)

值向量Ｋm

新….(公式15)

　　　　　　新….(公式16)　

g、重復步驟３至步驟７，直到收斂（誤差不再

有明顯變化）或執一定數目的學習循環。

h、為了測試網路的誤差程度是否收歛，也利用 　　

了「誤差均方根」的方程式來求出誤差程度。

◎誤差均方根＝(公式17) 　　　　　　　　　　　

其中＝第P個範例的第j個輸出單元之目標輸出

值。

= 第P個範例的第j個輸出單元之推論輸出

值。

　　　　 M = 範 例 數 目。

N=輸出層處理單元。

4、利用(公式3)~(公式16)，網路可以認知XOR

(exclusive OR的簡稱)的問題。

　 Ex：

X1=1，X2=1 T=0

X1=1，X2=0 T=1

X1=0，X2=0 T=0

X1=0，X2=1 T=1

除了可以學習XOR問題以外，亦可以認知一

維非單調函數。

5、若要學習二維混沌數列，則將　

　　(公式4) 改為

(公式6) 改為

(公式7) 改為

(公式8) 改為

(二)、

　　1、我們所做的實驗用LabVIEW軟體來模擬類

　　　　神經網路。LabVIEW是Laboratory Virtual

　　　　Instrument Engineering Workbench的縮寫，是

　　　　由美國 NATIONAL INSTRUMENTS公司於

　　　　1986年所發展出來的一套軟體，它是一種應

　　　　用發展程式，如同C語言或是BASIC語言

　　　　程式系統，不過，和 一般的程式語言最大的

　　　　差別在於LabVIEW是以圖形介面來代替傳

　　　　統的文字介面，而在其所謂的圖示區環境內

　　　　設計程式。LabVIEW圖示區內所提供圖繪型

　　　　程式設計環境，可以無需去記憶繁雜的指令，

　　　　並且縮短學習的時間。

　　　2、LabVIEW有一項特點就是除錯功能，以方便

　　　　我們修正程式，利用其所提供的功能，清楚

　　　　的看見程式執行過程與資料的傳遞過程，使

　　　　我們更易於了解程式執行過程中的錯誤，在

　　　　出現錯誤訊息的同時，它亦會為你說明錯誤

　　　　的原因，這不僅可以讓使用者更明瞭程式的

　　　　執行過程，並且使程式發展更容易。

回首頁

請注重智慧財產權，未經本人同意，請勿盜拷、轉載！