Deep Learning深度學習學習筆記整理如果對所有層同時訓練，時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監(jiān)督學習中相反的問題，會嚴重欠擬合（因為深度網(wǎng)絡(luò)的神經(jīng)元和參數(shù)太多了）2006年，hinton提出了在非監(jiān)督數(shù)據(jù)上建立多層神經(jīng)網(wǎng)絡(luò)的一個有效方法，企業(yè)宣傳片制作簡單的說，影視視頻制作分為兩步，一是每次訓練一層網(wǎng)絡(luò)，二是調(diào)優(yōu)，使原始表示x向上生成的高級表示r和該高級表示r向下生成的x盡可能一致。方法是： 2）當所有層訓練完后，Hinton使用wake sleep算法進行調(diào)優(yōu)將除最頂層的其它層間的權(quán)重變?yōu)殡p向的，這樣最頂層仍然是一個單層神經(jīng)網(wǎng)絡(luò)，而其它層則變?yōu)榱藞D模型。向上的權(quán)重用于“認知”，向下的權(quán)重用于“生成”。企業(yè)宣傳片制作然后使用Wake Sleep算法調(diào)整所有的權(quán)重。讓認知和生成達成一致，也就是保證生成的最頂層表示能夠盡可能正確的復原底層的結(jié)點。比如頂層的一個結(jié)點表示人臉，那么所有人臉的圖像應(yīng)該激活這個結(jié)點，并且這個結(jié)果向下生成的圖像應(yīng)該能夠表現(xiàn)為一個大概的人臉圖像。Wake Sleep算法分為醒（wake）和睡（sleep）兩個部分1）wake階段：認知過程，通過外界的特征和向上的權(quán)重（認知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點狀態(tài)），并且使用梯度下降修改層間的下行權(quán)重（生成權(quán)重）。也就是“如果現(xiàn)實跟我想象的不一樣，改變我的權(quán)重使得我想象的東西就是這樣的”2）sleep階段：生成過程，通過頂層表示（醒時學得的概念）和向下權(quán)重，生成底層的狀態(tài)，同時修改層間向上的權(quán)重。也就是“如果夢中的景象不是我腦中的相應(yīng)概念，攝影新手如何選單反。改變我的認知權(quán)重使得這種景象在我看來就是這個概念”1）使用自下上升非監(jiān)督學習（就是從底層開始，一層一層的往頂層訓練）：采用無標定數(shù)據(jù)（有標定數(shù)據(jù)也可）分層訓練各層參數(shù)，這一步可以看作是一個無監(jiān)督訓練過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分（這個過程可以看作是feature learning過程）：具體的，挖掘賣拷貝的幕后大佬 好萊塢，先用無標定數(shù)據(jù)訓練第一層，訓練時先學習第一層的參數(shù)（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層），由于模型capacity的限制以及稀疏性約束，使得得到的模型能夠?qū)W習到數(shù)據(jù)本身的結(jié)構(gòu)，從而得到比輸入更具有表示能力的特征；在學習得到第n 1層后，將n 1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數(shù)； 2）自頂向下的監(jiān)督學習（就是通過帶標簽的數(shù)據(jù)去訓練，誤差自頂向下傳輸，對網(wǎng)絡(luò)進行微調(diào)）：基于第一步得到的各層參數(shù)進一步fine tune整個多層模型的參數(shù)，這一步是一個有監(jiān)督訓練過程；第一步類 learning效果好很大程度上歸功于第一步的feature learning過程經(jīng)過上面的方法，我們就可以得到很多層了。至于需要多少層（或者深度需要多少，這個目前本身就沒有一個科學的評價方法）需要自己試驗調(diào)了。每一層都會得到原始輸入的不同的表達。當然了，我們覺得它是越抽象越好了，就像人的視覺系統(tǒng)一樣到這里，這個AutoEncoder還不能用來分類數(shù)據(jù)，因為它還沒有學習如何去連結(jié)一個輸入和一個類。它只是學會了如何去重構(gòu)或者復現(xiàn)它的輸入而已?；蛘哒f，它只是學習獲得了一個可以良好代表輸入的特征，這個特征可以最大程度上代表原輸入信號。那么，為了實現(xiàn)分類，我們就可以在AutoEncoder的最頂?shù)木幋a層添加一個分類器（例如羅杰斯特回歸、SVM等），然后通過標準的多層神經(jīng)網(wǎng)絡(luò)的監(jiān)督訓練方法（梯度下降法）去訓練也就是說，這時候，我們需要將最后層的特征code輸入到最后的分類器，通過有標簽樣本，通過監(jiān)督學習進行微調(diào)，這也分兩種，一個是只調(diào)整分類器（黑色部分）：如上圖，其實就是限制每次得到的表達code盡量稀疏。因為稀疏的表達往往比其他的表達要有效（人腦好像也是這樣的，某個輸入只是刺激某些神經(jīng)元，其他的大部分的神經(jīng)元是受到抑制的）Denoising AutoEncoders降噪自動編碼器：降噪自動編碼器DA是在自動編碼器的基礎(chǔ)上，訓練數(shù)據(jù)加入噪聲，所以自動編碼器必須學習去去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入。因此，這就迫使編碼器去學習輸入信號的更加魯棒的表達，這也是它的泛化能力比一般編碼器強的原因。DA可以通過梯度下降算法去訓練因此，它們可以用來表達輸入I，這個過程也是自動學習得到的。如果我們在上述式子上加上L1的Regularity限制，得到：這種方法被稱為Sparse Coding。通俗的說，就是將一個信號表示為一組基的線性組合，而且要求只需要較少的幾個基就可以將信號表示出來。“稀疏性”定義為：只有很少的幾個非零元素或只有很少的幾個遠大于零的元素。要求系數(shù) ai 是稀疏的意思就是說：對于一組輸入向量，我們只想有盡可能少的幾個系數(shù)遠大于零。選擇使用具有稀疏性的分量來表示我們的輸入數(shù)據(jù)是有原因的，因為絕大多數(shù)的感官數(shù)據(jù)，比如自然圖像，徐皓峰放棄刀背藏身導演署名。可以被表示成少量基本元素的疊加，在圖像中這些基本元素可以是面或者線。同時，比如與初級視覺皮層的類比過程也因此得到了提升（人腦有大量的神經(jīng)元，但對于某些圖像或者邊緣只有很少的神經(jīng)元興奮，其他都處于抑制狀態(tài)）稀疏編碼算法是一種無監(jiān)督學習方法，它用來尋找一組“超完備”基向量來更高效地表示樣本數(shù)據(jù)。雖然形如主成分分析技術(shù)（PCA）能使我們方便地找到一組“完備”基向量，但是這里我們想要做的是找到一組“超完備”基向量來表示輸入向量（也就是說，基向量的個數(shù)比輸入向量的維數(shù)要大）。超完備基的好處是它們能更有效地找出隱含在輸入數(shù)據(jù)內(nèi)部的結(jié)構(gòu)與模式。當年干部培訓那點風花雪月故事之一嚴建設(shè)老照然而，對于超完備基來說，系數(shù)ai不再由輸入向量唯一確定。因此，在稀疏編碼算法中，我們另加了一個評判標準“稀疏性”來解決因超完備而導致的退化（degeneracy）問題。（詳細過程請參考：UFLDL