Rekurentna neuronska mreža

Rekurentna neuronska mreža (RNN) je jedan od dva široko zastupljena tipa veštačke neuronske mreže, koju karakteriše pravac toka informacija između njenih slojeva. Za razliku od jednosmerne neuronske mreže unapred, ona je dvosmerna veštačka neuronska mreža, što znači da dozvoljava da izlaz iz nekih čvorova utiče na naknadni ulaz u iste čvorove. Njihova sposobnost da koriste unutrašnje stanje (memoriju) za obradu proizvoljnih sekvenci ulaza^[1]^[2]^[3] čini ih primenljivim na zadatke kao što su nesegmentirano, povezano prepoznavanje rukopisa^[4] ili prepoznavanje govora.^[5]^[6] Termin „rekurentna neuronska mreža” se koristi za označavanje klase mreža sa beskonačnim impulsnim odzivom, dok se „konvoluciona neuronska mreža” odnosi na klasu konačnog impulsnog odziva. Obe klase mreža pokazuju vremensko dinamičko ponašanje.^[7] Rekurentna mreža sa konačnim impulsom je usmeren aciklični graf koji se može odmotati i zameniti striktnom neuronskom mrežom unapred, dok je rekurentna mreža beskonačnih impulsa usmereni ciklični graf koji se ne može odmotati.

Dodatna uskladištena stanja i skladište pod direktnom kontrolom mreže mogu se dodati mrežama sa beskonačnim impulsom i mrežama sa konačnim impulsom. Druga mreža ili grafikon takođe mogu zameniti skladište ako to uključuje vremenska kašnjenja ili ima povratne veze. Takva kontrolisana stanja se nazivaju zatvorena stanja ili zatvorene memorije i deo su mreža duge kratkoročne memorije (LSTM) i zatvorenih rekurentnih jedinica. Ovo se takođe naziva neuronska mreža unapred (FNN). Rekurentne neuronske mreže su teoretski kompletne po Tjuringu i mogu pokrenuti proizvoljne programe za obradu proizvoljnih sekvenci ulaza.^[8]

Reference

^ Dupond, Samuel (2019). „A thorough review on the current advance of neural network structures.”. Annual Reviews in Control. 14: 200—230.
^ Abiodun, Oludare Isaac; Jantan, Aman; Omolara, Abiodun Esther; Dada, Kemi Victoria; Mohamed, Nachaat Abdelatif; Arshad, Humaira (2018-11-01). „State-of-the-art in artificial neural network applications: A survey”. Heliyon (на језику: енглески). 4 (11): e00938. Bibcode:2018Heliy...400938A. ISSN 2405-8440. PMC 6260436 . PMID 30519653. doi:10.1016/j.heliyon.2018.e00938 .
^ Tealab, Ahmed (2018-12-01). „Time series forecasting using artificial neural networks methodologies: A systematic review”. Future Computing and Informatics Journal (на језику: енглески). 3 (2): 334—340. ISSN 2314-7288. doi:10.1016/j.fcij.2018.10.003 .
^ Graves, Alex; Liwicki, Marcus; Fernandez, Santiago; Bertolami, Roman; Bunke, Horst; Schmidhuber, Jürgen (2009). „A Novel Connectionist System for Improved Unconstrained Handwriting Recognition” (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. 31 (5): 855—868. CiteSeerX 10.1.1.139.4502 . PMID 19299860. S2CID 14635907. doi:10.1109/tpami.2008.137.
^ Sak, Haşim; Senior, Andrew; Beaufays, Françoise (2014). „Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling” (PDF). Google Research.
^ Li, Xiangang; Wu, Xihong (2014-10-15). „Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition”. arXiv:1410.4281  [cs.CL].
^ Miljanovic, Milos (2012). „Comparative analysis of Recurrent and Finite Impulse Response Neural Networks in Time Series Prediction” (PDF). Indian Journal of Computer and Engineering. 3 (1).
^ Hyötyniemi, Heikki (1996). „Turing machines are recurrent neural networks”. Proceedings of STeP '96/Publications of the Finnish Artificial Intelligence Society: 13—24.

Literatura

Mandic, Danilo P.; Chambers, Jonathon A. (2001). Recurrent Neural Networks for Prediction: Learning Algorithms, Architectures and Stability. Wiley. ISBN 978-0-471-49517-8.

Spoljašnje veze

Recurrent Neural Networks with over 60 RNN papers by Jürgen Schmidhuber's group at Dalle Molle Institute for Artificial Intelligence Research
Elman Neural Network implementation for WEKA

[1] Dupond, Samuel (2019). „A thorough review on the current advance of neural network structures.”. Annual Reviews in Control. 14: 200—230.

[2] Abiodun, Oludare Isaac; Jantan, Aman; Omolara, Abiodun Esther; Dada, Kemi Victoria; Mohamed, Nachaat Abdelatif; Arshad, Humaira (2018-11-01). „State-of-the-art in artificial neural network applications: A survey”. Heliyon (на језику: енглески). 4 (11): e00938. Bibcode:2018Heliy...400938A. ISSN 2405-8440. PMC 6260436 . PMID 30519653. doi:10.1016/j.heliyon.2018.e00938 .

[3] Tealab, Ahmed (2018-12-01). „Time series forecasting using artificial neural networks methodologies: A systematic review”. Future Computing and Informatics Journal (на језику: енглески). 3 (2): 334—340. ISSN 2314-7288. doi:10.1016/j.fcij.2018.10.003 .

[4] Graves, Alex; Liwicki, Marcus; Fernandez, Santiago; Bertolami, Roman; Bunke, Horst; Schmidhuber, Jürgen (2009). „A Novel Connectionist System for Improved Unconstrained Handwriting Recognition” (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. 31 (5): 855—868. CiteSeerX 10.1.1.139.4502 . PMID 19299860. S2CID 14635907. doi:10.1109/tpami.2008.137.

[sak2014-5] Sak, Haşim; Senior, Andrew; Beaufays, Françoise (2014). „Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling” (PDF). Google Research.

[liwu2015-6] Li, Xiangang; Wu, Xihong (2014-10-15). „Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition”. arXiv:1410.4281  [cs.CL].

[7] Miljanovic, Milos (2012). „Comparative analysis of Recurrent and Finite Impulse Response Neural Networks in Time Series Prediction” (PDF). Indian Journal of Computer and Engineering. 3 (1).

[8] Hyötyniemi, Heikki (1996). „Turing machines are recurrent neural networks”. Proceedings of STeP '96/Publications of the Finnish Artificial Intelligence Society: 13—24.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]