Hierarchical Temporal Memory (HTM) for anomaly detection

HTM 是一種理論架構，適用於神經網路皮層(等同 腦皮層)的循序學習，也是一種real time技術，已經被證明成功運用在預測任務上。HTM網路會持續學習並model輸入資料的時間與空間特徵。



下圖秀出如何例用HTM來偵測異常: 輸入資料向量xt (t表第幾個時間點)，HTM會輸出兩個值a(xt)及pi(xt)，Prediction error模組會輸出預測誤差值st，Anomaly likelihood模組輸出此筆資料是異常的可能性。

下圖秀出上圖的HTM模組的細部內容，輸入的xt送到Encoder模組裡1 ，然後再送去作稀疏空間池化(Spatial pooler模組)，結果產生一稀疏二元向量a(xt)來代表目前輸入xt。Sequence memory模組是整個HTM的重點，它是用來model a(xt)的時序規則，所以pi(xt)代表預測下一個輸入，也就是猜測a(x(t+1))的值。

 [1] S. Purdy, Encoding Data for HTM Systems, arXiv. (2016) arXiv: 1602.05925 [cs.NE].

HTM sequence memory 是由一層HTM神經元群組成，並以columns集合的方式呈現，如下圖，它model高階序列(有長期關係的序列)，它由兩個稀疏象徵物呈現(下第三張圖)。目前輸入xt和之前的輸入....,xt-3,...xt-1，被同時以"隨時更新的稀疏象徵物"方式 encode，此網路就用此象徵物預測未來的sparse vector。

下圖秀出用稀疏象徵物來表示時序規則及弄清楚有長期關係的序列。當網路收到下個輸入，它利用預測的輸入和真實輸入的差異來更新神經元模型。