Теорема универзалне апроксимације

У математичкој теорији вештачких неуронских мрежа, теореме универзалне апроксимације су теореме следећег облика: Датој породици неуронских мрежа, за сваку функцију $f$ из одређеног простора функција постоји секвенца неуронских мрежа $\phi _{1},\phi _{2},\dots$ из породице, тако да је $\phi _{n}\to f$ према неком критеријуму. То јест, породица неуронских мрежа је густа у функцијском простору.

Најпопуларнија верзија наводи да су фидфорвард мреже са неполиномским функцијама активације густе у простору непрекидних функција између два Еуклидска простора, с обзиром на топологију компактне конвергенције.

Теореме универзалне апроксимације су теореме постојања: Оне једноставно наводе да постоји такав низ $\phi _{1},\phi _{2},\dots \to f$, и не пружају никакав начин да се заправо пронађе такав низ. Оне такође не гарантују да би било који метод, као што је бекпропагација, могао да пронађе такав низ. Било која метода за претраживање простора неуронских мрежа, укључујући бекпропагацију, може пронаћи конвергентну секвенцу, или не (тј. бекпропагација може да се заглави у локалном оптимуму).

Теореме универзалне апроксимације су граничне теореме: Оне једноставно наводе да за било које $f$ и критеријум блискости $\epsilon >0$, ако има довољно неурона у неуронској мрежи, онда постоји неуронска мрежа са толиким бројем неурона који апроксимирају $f$ унутар $\epsilon$. Не постоји гаранција да је било која коначна величина, рецимо, 10000 неурона довољна.