Que savez-vous sur les réseaux Neuro. Que imaginent les réseaux de neurones et quelles tâches ils peuvent résoudre. Les principaux acteurs du marché du réseau de neurones

Intelligence artificielle, les réseaux de neurones, Machine Formation - Que voulez-vous vraiment dire tous ces concepts populaires? Pour la plupart des personnes non initiées, moi-même, moi-même, ils semblaient toujours quelque chose de fantastique, mais en fait, l'essence d'entre eux se trouve à la surface. J'ai longtemps mûri l'idée d'écrire langage simple Sur les réseaux de neurones artificiels. Apprenez et dites aux autres ce que cette technologie est la manière dont cela fonctionne, considérez son histoire et ses perspectives. Dans cet article, j'ai essayé de ne pas gravir les débris, mais simplement parler de cette direction prometteuse dans le monde des grandes technologies.

Intelligence artificielle, réseaux de neurones, apprentissage automatique - Que voulez-vous vraiment dire tous ces concepts populaires? Pour la plupart des personnes non initiées, moi-même et moi-même, ils semblaient toujours quelque chose de fantastique, mais l'essence d'entre eux se trouve à la surface. J'ai longtemps mûrit l'idée d'écrire une langue simple sur les réseaux de neurones artificiels. Découvrez et dites aux autres, ce qui représente cette technologie, comme cela fonctionne, considérez son histoire et ses perspectives. Dans cet article, j'ai essayé de ne pas gravir les débris, mais simplement parler de cette direction prometteuse dans le monde des grandes technologies.

Un peu d'histoire

Pour la première fois, le concept de réseaux de neurones artificiels (INS) est apparu lors de l'essai de simuler les processus cérébraux. La première percée grave dans cette zone peut être envisagée pour créer un modèle de réseaux de neurones de McCally-Pitts en 1943. Des scientifiques pour la première fois qu'un modèle de neurone artificiel a été développé. Ils ont également proposé la conception du réseau à partir de ces éléments pour effectuer des opérations logiques. Mais surtout, les scientifiques ont prouvé qu'un tel réseau est capable d'étudier.

Poursuivre une étape importante Le développement de Donald Hebb du premier algorithme de calcul de l'INS en 1949, qui est devenu fondamental au cours des prochaines décennies. En 1958, Frank Rosenblatt a été développé par un système Passpartron - un système imitant les processus cérébraux. À une époque, la technologie n'avait pas d'analogues et est toujours fondamental dans les réseaux de neurones. En 1986, presque simultanément, indépendamment les uns des autres par les scientifiques américains et soviétiques, la méthode fondamentale d'apprentissage d'un percepteur multicouche a été considérablement améliorée. En 2007, les réseaux de neurones ont subi une deuxième naissance. Informatique britannique Jeffrey Hinton pour la première fois a développé une algorithme de formation profonde de réseaux de neurones multicouches, qui est maintenant utilisé pour le fonctionnement de voitures sans pilote.

Brièvement sur la chose principale

Dans le sens général du terme, les réseaux de neurones sont des modèles mathématiques travaillant sur le principe des réseaux de cellules nerveuses de l'organisme animal. Les INS peuvent être mis en œuvre à la fois dans des solutions programmables et matérielles. Pour faciliter la perception, le neuron peut être représenté comme une cellule de certaines pluralités d'entrées et d'une sortie. Comment de nombreux signaux entrants sont formés dans la sortie, détermine simplement l'algorithme de calcul. Pour chaque entrée de neurone, des valeurs effectives sont appliquées, qui sont ensuite appliquées par des liaisons internes (Synopsis). En synapses, il y a un paramètre - poids, grâce auxquels les informations d'entrée changent lors de la déplacement d'un neurone à un autre. Le principe le plus facile de fonctionnement du réseau neuronal peut être représenté par l'exemple de couleurs de mélange. Neuron bleu, vert et rouge ont poids différent. Les informations de ce neurone, dont le poids sera plus dominant dans le prochain neurone.

Le réseau neuronal lui-même est un système de divers neurones (processeurs). Séparément, ces processeurs sont assez simples (beaucoup plus faciles que le processeur ordinateur personnel), mais être connecté à grand système Les neurones sont capables d'effectuer des tâches très complexes.

En fonction de l'application du réseau neuronal, il est possible d'interpréter de différentes manières, par exemple en termes de apprentissage automatique Ins est une méthode de reconnaissance d'image. D'un point de vue mathématique est une tâche multiparamètre. Du point de vue de la cybernétique - le modèle de gestion adaptatif de robotique. Pour intelligence artificielle INS est un composant fondamental pour la modélisation de l'intelligence naturelle à l'aide d'algorithmes informatiques.

Le principal avantage du réseau neuronal sur les algorithmes de calcul habituels est leur capacité à enseigner. En général, le mot apprentissage est de trouver le bon rapport de communication entre les neurones, ainsi que pour généraliser les données et identifier des dépendances complexes entre les signaux d'entrée et de sortie. En fait, l'enseignement réussi du réseau de neurones signifie que le système sera en mesure d'identifier le résultat correct en fonction des données qui sont absentes dans l'échantillon d'apprentissage.

La position d'aujourd'hui

Et quelle que soit la promesse de cette technologie, la SER est encore très loin des possibilités du cerveau humain et de la pensée. Néanmoins, maintenant les réseaux de neurones sont utilisés dans de nombreux domaines de l'activité humaine. Jusqu'à présent, ils ne sont pas en mesure de faire des solutions très intelligentes, mais capables de remplacer une personne où il était nécessaire. Parmi les nombreuses applications de l'INS, on peut noter: la création de systèmes de processus industriels d'auto-apprentissage, des véhicules sans pilote, des systèmes de reconnaissance d'images, des systèmes de sécurité intelligents, de la robotique, des systèmes de surveillance de la qualité, des interfaces vocales, des systèmes d'analyse et bien plus encore. De tels réseaux de neurones généralisés entre autres sont dus à l'émergence de divers moyens d'accélérer la formation des INS.

À ce jour, le marché du réseau neuronal est énorme - c'est des milliards et des milliards de dollars. À mesure que la pratique montre, la plupart des technologies du réseau de neurones du monde entier diffèrent peu les unes des autres. Cependant, l'utilisation du réseau de neurones est une leçon très coûteuse, ce qui ne peut dans la plupart des cas que grandes entreprises. Pour le développement, l'apprentissage et les tests de réseaux de neurones, il est nécessaire de disposer d'une grande puissance de calcul, il est évident que cela est suffisant qu'il existe dans de grands acteurs du marché informatique. Parmi les principales entreprises, le premier développement de cette zone est à noter la Division de Google Deepmind, la Division de la recherche Microsoft, la société IBM, Facebook et Baidu.

Bien sûr, tout cela est bon: les réseaux de neurones se développent, le marché augmente, mais la tâche principale n'est pas résolue. L'humanité n'a pas réussi à créer une technologie, au moins approximative des possibilités de cerveau humain. Considérons les principales différences entre le cerveau humain et les réseaux de neurones artificiels.

Pourquoi la neurosétique est-elle toujours loin du cerveau humain?

La différence la plus importante qui change dans la racine modifie le principe et l'efficacité du système, constitue une transmission différente de signaux dans les réseaux de neurones artificiels et dans le réseau biologique des neurones. Le fait est que les neurones sont transmis par exemple des valeurs valides, c'est-à-dire par chiffre. Dans le cerveau humain, le transfert d'impulsions avec une amplitude fixe est effectué et ces impulsions sont pratiquement instantanées. D'ici, il y a un certain nombre d'avantages du réseau humain de neurones.

Premièrement, les lignes de liaison dans le cerveau sont beaucoup plus efficaces et plus économiques qu'à INS. Deuxièmement, le régime d'impulsion assure la simplicité de la mise en œuvre de la technologie: il suffit d'utiliser des schémas analogiques au lieu de mécanismes informatiques complexes. En fin de compte, les réseaux d'impulsions sont protégés des interférences sonores. Les chiffres effectifs sont affectés par le bruit, à la suite de laquelle la probabilité d'erreur se produit.

Résultat

Bien sûr, au cours de la dernière décennie, un vrai boom de développement des réseaux de neurones s'est produit. Tout d'abord, cela est dû au fait que le processus de formation INS est devenu beaucoup plus rapide et plus facile. A également commencé à développer activement les réseaux de neurones «préférés», qui nous permettent de renverser de manière significative le processus d'introduction de la technologie. Et si oui, il est trop tôt pour parler de savoir si une neurosette sera une fois capable de reproduire complètement la possibilité d'un cerveau humain, la probabilité que dans la prochaine décennie d'INS puisse remplacer une personne au quart des professions existantes De plus en plus devient comme la vérité.

Pour ceux qui veulent en savoir plus

Big Neural Guerre: Qu'est-ce qui ferme en réalité Google
Comment les ordinateurs cognitifs peuvent changer notre avenir

Disponible a montré à quel point il est facile de créer un réseau de neurones pour la disposition des images. Mais il y a une chose - le fait qu'il a décrit le réseau neuronal n'est pas. Avant son prochain article, je tiens à vous dire comment résoudre la même tâche, mais utiliser le réseau neural coonen.

Nous reconnaîtrons donc les chiffres écrits par blanc sur noir, tels que ceux-ci:

Photos 45 sur 45 pixels, ce qui signifie que les entrées de notre réseau neuronal seront de 45 * 45.
Pour la simplicité, nous ne reconnaissons que des chiffres de 0 à 5, nous aurons donc 6 neurones - une par une réponse.

La structure de notre réseau neuronal:

Chaque réseau de communication avec neurone a son propre poids. Le pouls, passant par la connexion, change: impulsion \u003d pulse * poids_v.
Neuron reçoit des impulsions de toutes les intrants et les résume simplement. Neuron a marqué une plus grande victoire totale. Tout est simple, nous mettons en œuvre!

Classes pour présenter des éléments de réseau (C #):
// Entrée
entrée de classe publique.
{
// liens avec des neurones
liens publics sortables;
}

// neuronom
lien de classe publique.
{
// neuron
neurone du neurone public;
// Poids de la communication
double poids public;
}

neurone de classe publique
{
// Toutes les entrées du neuron
lIENNE PUBLIC LINK INCOMINGLINKS;
// accumulé par des frais de neurones
double puissance publique (get; set;)
}

Créer et initialiser le réseau est une entreprise ennuyeuse, qui est intéressée - voir la source appliquée. Je vais aussi m'arrêter sur le fait que la couleur du pixel est un nombre de 0 à 255 et 0 est noir, 255 - blanc, couleurs entre eux - gradation de niveaux de gris.

Statut de la classe KohonNeNetwork Ceci est une matrice d'entrée et un tableau de neuron:
classe publique KohonNework.
{
entrée privée Readonly _Inputts;
neuron privé libéonnier _neuons;
...
}

Supposons que notre réseau soit déjà formé. Ensuite, pour savoir ce qui est montré sur la photo, nous appellerons la méthode de la poignée, tout sera caché là-bas, ce sera le maximum:
// sauter le vecteur à travers le réseau de neurones
pUBLIC INT HANDER (INT INTRIS)
{
pour (var i \u003d 0; i< _inputs.Length; i++)
{
var intreveuron \u003d _Input [I];
foreach (Var SorturingLink in INTERNEURON.OUTINGLINKS)
{
sorvantagelink.neuron.power + \u003d sorbinglink.weight * Entrée [I];
}
}
var maxindex \u003d 0;
pour (var i \u003d 1; i< _neurons.Length; i++)
{
si (_neuons [I] .puissance\u003e _neuons.puissance)
maxindex \u003d i;
}
// Retirez le pouls de tous les neurones:
foreach (Varynuron à _neuons)
{
Outwutneuron.Power \u003d 0;
}
retour maxindex;
}

Mais avant de demander au réseau quelque chose, il doit être formé. Pour la formation, imposez des images et indiquez qu'ils sont attirés par eux:

La formation est un changement de poids des liens:
Étude annulation publique (INT INTRIT, INT CorrechanSwer)
{
var neuron \u003d _neuons;
pour (var i \u003d 0; i< neuron.IncomingLinks.Length; i++)
{
var incominglink \u003d neuron.incominglinks [i];
IncomingLink.weight \u003d IncomingLink.weight + 0.5 * (entrée [i] - IncomingLink.weight);
}
}

Après avoir appris sur deux polices, le réseau neural distingue les nombres d'autres polices. Y compris le test de contrôle sera transmis de tels numéros:
Bien sûr, il ne convient pas de coiffé d'une capaculation - tout cesse de fonctionner, il ne vaut la peine que de bouger, d'étirer ou de faire pivoter l'image.
Cependant, tout le monde devient clair qu'il n'est pas si difficile d'utiliser des réseaux de neurones si vous commencez avec des exemples simples.

Aujourd'hui, à chaque coin est ici, puis il y a sur les avantages du réseau de neurones. Mais ce que c'est, comprenez vraiment les unités. Si vous recherchez les explications de la Wikipedia, la tête tourne à partir de la hauteur des termes des termes et des définitions de la citadelle des scientifiques et des définitions. Si vous êtes loin d'ingénierie génétique et que le langage sec du pratan des manuels universitaires ne provoque que la chenction et aucune idée, nous allons essayer de comprendre ensemble dans le problème du réseau de neurones.

Pour comprendre le problème, vous devez apprendre la cause première qui se trouve complètement à la surface. Se souvenir de Sarah Connor, nous comprenons qu'une fois les pionniers du développement informatique Warren McKallock et Walter Pitts ont poursuivi l'objectif de mercenaire de la création de la première intelligence artificielle.

Les réseaux de neurones sont un prototype électronique d'un système formé de manière indépendante. Comme un enfant, Neuillet absorbe des informations, la mâche, acquiert une expérience et apprend. Dans le processus d'apprentissage, un tel réseau se développe, augmente et peut faire ses propres conclusions et prendre des décisions de manière indépendante.

Si le cerveau humain se compose de neurones, il est convient de convoquer que le neurone électronique est une certaine boîte imaginaire, qui a beaucoup d'entrées et que la sortie est une. L'algorithme interne du neurone est déterminé par la procédure de traitement et d'analyse des informations reçues et de la transformer en une seule valeur utile. Selon la manière dont les entrées et les sorties fonctionnent, tout le système est ou relancé rapidement, ou au contraire, peut ralentir.

Important: En règle générale, des informations analogiques sont utilisées dans les réseaux de neurones.

Nous répéterons que les flux d'entrée des informations (par des informations initiales scientifiques et notre "neurone" s'appelle des synapses) peuvent être nombreux, et ils sont tous de caractère différent et ont une signification inégale. Par exemple, une personne perçoit le monde qui les entourait à travers des organes de vision, de la touche et de l'odeur. Il est logique que la vision est un sentiment d'odorat principal. Sur la base de différentes situations de vie, nous utilisons certains organes de sentiments: toucher et la rumeur arrive à l'avance. Les sinapses des réseaux de neurones sur la même analogie dans diverses situations auront une signification différente, qui est coutumière de désigner le poids de la communication. Lorsque vous écrivez le code, un seuil minimum d'informations est établi. Si le poids de la communication est supérieur à la valeur spécifiée, le résultat de la vérification du neurone est positif (et est égal à un dans système binaire), si moins est négatif. Il est logique que plus la planche est élevée, plus le travail du réseau de neurones est précis, mais plus il sera long.

Pour que le réseau neuronal fonctionne correctement, vous devez passer du temps à sa formation - c'est la principale différence contre les algorithmes programmables simples. Comme un petit enfant, les réseaux de neurones ont besoin d'initiales base de l'informationMais si vous écrivez le code initial correctement, il sera nécessaire de névraliner, il sera possible de ne pas simplement faire un choix sûr des informations disponibles, mais également de construire des hypothèses indépendantes.

Lorsque vous écrivez le code principal, il est nécessaire d'expliquer vos actions littéralement sur les doigts. Si nous travaillons, par exemple, avec des images, alors à la première étape, la valeur pour nous aura sa taille et sa classe. Si la première caractéristique nous indique le nombre d'entrées, la seconde aidera à traiter les informations elles-mêmes. Idéalement, télécharger les données primaires et comparer la topologie des classes, le réseau neuronal sera également en mesure de classer nouvelle information. Supposons que nous ayons décidé de télécharger l'image de 3x5 pixels. Arthmétique simple Nous disons que les intrants seront les suivants: 3 * 5 \u003d 15. Et la classification elle-même déterminera le nombre total de sorties, c'est-à-dire Neurones. Un autre exemple: les réseaux de neurones doivent reconnaître la lettre "C". Le seuil spécifié est une lettre complète de la lettre, cela nécessitera un neurone avec le nombre d'entrées égales à la taille de l'image.

Supposons que la taille soit les mêmes 3x5 pixels. Le programme d'alimentation Diverses images de lettres ou de chiffres lui apprendront à déterminer l'image du symbole dont nous avons besoin.

Comme dans toute formation, l'étudiant de la mauvaise réponse doit être puni et, bien sûr, nous ne donnerons rien. Si la réponse correcte, le programme perçoit comme faux, puis augmentez le poids de l'entrée sur chaque synapse. Si, au contraire, avec le mauvais résultat, le programme considère le résultat positif ou vrai, puis nous soustrayons le poids de chaque entrée du neurone. Start L'apprentissage est plus logique avec la connaissance avec le symbole dont nous avons besoin. Le premier résultat sera incorrect, mais j'ai corrigé le code légèrement corrigeant, avec de nouveaux travaux, le programme fonctionnera correctement. L'exemple d'un algorithme de construction d'un code pour un réseau de neurones est appelé Parcetron.

Il existe des variantes plus complexes de réseaux de neurones avec le retour des données incorrectes, de leur analyse et des conclusions logiques du réseau lui-même. Par exemple, le prédicteur en ligne de l'avenir est assez programmé au neural. De tels programmes sont capables d'apprendre à la fois avec l'enseignant et sans cela et sont appelés résonance adaptative. Leur essence réside dans le fait que les neurones ont déjà leurs idées sur l'attente des informations dont ils souhaitent obtenir et sur quelle forme. Il y a un seuil mince de la soi-disant vigilance des neurones entre l'attente et la réalité, ce qui aide le réseau à classer correctement les informations entrantes et ne manquez pas de pixel. Le truc de l'AR Neuralti est qu'il étudie par eux-mêmes depuis le tout début, détermine indépendamment le seuil de la vigilance des neurones. Ce qui, à son tour, joue un rôle dans les informations de classification: le réseau plus vague, il est plus susceptible de.

Les connaissances les plus élémentaires sur ce qui est les réseaux de neurones, nous avons eu. Essayons maintenant de résumer les informations reçues. Donc, neuraseti. - Ceci est un prototype électronique de la pensée humaine. Ils se composent de neurones électroniques et de synapses - flux d'informations à l'entrée et à la sortie du neuron. Programmé par des réseaux de neurones sur le principe d'apprentissage avec l'enseignant (un programmeur qui pompette des informations primaires) ou indépendamment (basé sur des hypothèses et des attentes des informations obtenues, qui est déterminée par le même programmeur). Avec l'aide d'un réseau de neurones, vous pouvez créer n'importe quel système: à partir d'une définition simple du dessin sur les images de pixels aux psychodiagnostiques et à l'analyse économique.

Les réseaux de neurones

Schéma de réseau de neurones simple. Vert marqué entrée Éléments, jaune - production élément

Réseaux de neurones artificiels (INS) - Modèles mathématiques, ainsi que leurs mises en œuvre logiciels ou matériels, construits sur le principe de l'organisation et du fonctionnement des réseaux de neurones biologiques - réseaux de cellules nerveuses de l'organisme vivant. Ce concept est originaire lors de l'étude des processus qui coule dans le cerveau pendant la pensée, et en essayant de simuler ces processus. Le premier modèle de ce type était Percepton. Par la suite, ces modèles ont commencé à utiliser à des fins pratiques, en règle générale dans les tâches de prévision.

Les réseaux de neurones ne sont pas programmés dans le sens habituel du terme, ils apprendre. La possibilité d'apprendre est l'un des principaux avantages des réseaux de neurones avant les algorithmes traditionnels. Techniquement, la formation consiste à trouver les coefficients des cravates entre les neurones. Dans le processus d'apprentissage, le réseau neuronal est capable d'identifier des dépendances complexes entre données d'entrée et week-ends, ainsi que complète. Cela signifie que, en cas d'apprentissage réussi, le réseau sera en mesure de renvoyer le résultat correct sur la base des données absentes dans l'échantillon de formation.

Chronologie

Applications célèbres

Clustering

Sous le regroupement, cela signifie la partition de l'ensemble des signaux d'entrée en classes, malgré le fait que ni la quantité ni les signes de classes ne sont inconnus. Après la formation, un tel réseau est capable de déterminer comment le signal d'entrée se réfère. Le réseau peut également signaler que le signal d'entrée ne s'applique à aucune des classes sélectionnées - il s'agit d'un signe de nouveau, absent dans l'échantillon de formation, les données. Ainsi, un réseau similaire peut identifier de nouvelles classes de signaux inconnus. Conformité entre les classes allouées par le réseau et les classes existant dans domaine, installé par l'homme. La clusterisation est effectuée, par exemple, les réseaux de neurones de Coonen.

Sélection expérimentale des fonctionnalités du réseau

Après la sélection structure commune Vous devez sélectionner des paramètres réseau expérimentalement. Pour les réseaux tels que le percepteur, ce sera le nombre de couches, le nombre de blocs dans les couches cachées (pour les réseaux de mots), la présence ou l'absence de composés de contournement, des rapports de presse de neurones. Lorsque vous choisissez le nombre de couches et de neurones, ils devraient procéder du fait que la capacité du réseau à la généralisation est supérieure à celle du nombre total de connexions entre les neurones. D'autre part, le nombre de connexions est limité d'en haut le nombre d'entrées dans les données de formation.

Sélection expérimentale des paramètres de formation

Après avoir sélectionné une topologie spécifique, vous devez sélectionner les paramètres d'apprentissage du réseau neuronal. Cette étape est particulièrement importante pour l'apprentissage des réseaux avec l'enseignant. Non seulement la rapidité des réponses du réseau sera convergée vers les bonnes réponses. Par exemple, le choix de la faible vitesse de formation augmentera le temps de convergence, mais évite parfois la paralysie du réseau. L'augmentation du moment d'apprentissage peut conduire à zoomer et à une diminution du temps de convergence, en fonction de la forme de la surface d'erreur. Sur la base de ces effets contradictoires des paramètres, on peut en conclure que leurs valeurs doivent être sélectionnées expérimentalement, guidées par le critère pour remplir la formation (par exemple, minimiser une erreur ou une limite de temps).

Réseau réellement de formation

Dans le processus d'apprentissage, le réseau est dans un certain ordre en visionnant l'échantillon de formation. L'ordre d'observation peut être cohérent, aléatoire, etc. Certains réseaux étudient sans enseignant, par exemple, Network Hopfield Navigation de l'échantillon une seule fois. D'autres, par exemple, Cohonen Network, ainsi que des réseaux, étudient avec l'enseignant, parcourent l'échantillon plusieurs fois, tandis qu'un passage complet de l'échantillon s'appelle epoch Apprentissage. Lors de l'étude avec l'enseignant, l'ensemble des données source est divisé en deux parties - en train d'apprendre des données d'échantillon et de test; Le principe de séparation peut être arbitraire. Les données pédagogiques sont appliquées pour la formation et la vérification est utilisée pour calculer l'erreur réseau (les données de test ne sont jamais appliquées à la mise en réseau). Ainsi, si une erreur diminue sur les données de vérification, le réseau effectue réellement une généralisation. Si l'erreur d'apprentissage continue de diminuer et que l'erreur sur les données de test augmente, cela signifie que le réseau a cessé d'effectuer une généralisation et simplement "se souvient" des données de formation. Ce phénomène s'appelle la reconversion du réseau ou le survêtement. Dans de tels cas, la formation est généralement arrêtée. Au cours de l'apprentissage, d'autres problèmes peuvent être manifestés, tels que la paralysie ou le réseau entrant dans la surface d'erreur minimale locale. Il est impossible de prédire la manifestation d'un problème particulier à l'avance, ainsi que de donner des recommandations sans ambiguïté pour leur permission.

Vérifier l'apprentissage de l'adéquation

Même dans le cas d'un succès, à première vue, le réseau n'est pas toujours appris que le Créateur souhaitait d'elle. Le cas est connu lorsque le réseau a appris la reconnaissance des images de réservoirs par des photographies, mais il s'est avéré plus tard que tous les réservoirs ont été photographiés sur le même antécédent. En conséquence, le réseau "appris" de reconnaître ce type de paysage, au lieu de "apprendre" pour reconnaître les réservoirs. Ainsi, le réseau "comprend" n'est pas quelque chose qu'il était nécessaire, mais quel est le plus facile à généraliser.

Classification par type d'informations d'entrée

Réseaux de neurones analogiques (utilisez des informations sous forme de nombres valides);
Réseaux neuronaux binaires (fonctionner avec des informations présentées sous forme binaire).

Classification par caractère d'apprentissage

Formation avec l'enseignant - Le week-end de solutions du réseau neuronal est connu;
Formation sans enseignant - un réseau neuronal forme l'espace de production des solutions uniquement sur la base des influences d'entrée. Ces réseaux sont appelés auto-organisation;
L'entraînement de renforcement est le but des amendes et des promotions de l'environnement.

Classification par paramètre de caractères des synapses

Classification du temps de transfert de signal

Dans un certain nombre de réseaux de neurones, la fonction d'activation peut dépendre non seulement des coefficients de pondération des connexions. w. jE.j. , mais aussi au moment du transfert du pouls (signal) via des canaux de communication τ jE.j. . Selon cela, en général, la fonction de communication active (transmission) c. jE.j. De l'élément u. jE. À l'élément u. j. Il regarde :. Puis réseau synchrone jE.j. Chaque liaison est nulle ou constante fixe τ. Asynchrone appeler un tel réseau quel temps de transmission τ jE.j. Pour chaque connexion entre les éléments u. jE. et u. j. Sa, mais aussi constante.

Classification par la nature des connexions

Réseaux de distribution directe (Feedforward)

Toutes les connexions sont strictement dirigées par les neurones d'entrée au week-end. Des exemples de tels réseaux sont le percepteur du Rosenblatt, un percepteur multicouche, un réseau de mots.

Réseaux de neurones récurrents

Le signal des neurones de sortie ou des neurones de la couche cachée est partiellement transmis aux entrées des neurones de la couche d'entrée (retour d'information). Le réseau récurrent du réseau Hopfield "filtre" les données d'entrée, qui retourne à un état stable et vous permet ainsi de résoudre les tâches de la compression de données et de la mémoire associative de construction. Une occasion spéciale de réseaux récurrents est des réseaux bidirectionnels. Dans de tels réseaux, il existe des connexions entre couches à la fois dans la direction de la couche d'entrée au week-end et dans le contraire. Un exemple classique est un réseau de neurones COSCO.

Fonctions radiales de base

Les réseaux de neurones artificiels utilisant des fonctions d'activation de base radiales (ces réseaux sont abrégés avec des réseaux RBF). Vue générale de la fonction radiale-basique:

, par exemple,

où x. - Vecteur des signaux d'entrée du neuron, σ - la largeur de la fenêtre de la fenêtre, φ ( y.) - La fonction décroissante (le plus souvent égal à zéro à l'extérieur de certains segments).

Le réseau radial-basique est caractérisé par trois caractéristiques:

1. La seule couche cachée

2. Seuls les neurones de la couche cachée ont une fonction d'activation non linéaire.

3. Les poids synaptiques des liaisons des couches d'entrée et de couches cachées sont égales à une

Sur la procédure d'apprentissage - voir la littérature

Cartes auto-organisées

Ces réseaux sont un réseau de neurones concurrentiels avec une formation sans enseignant qui effectue la tâche de visualisation et de regroupement. C'est la méthode de projection d'un espace multidimensionnel dans l'espace avec une dimension inférieure (le plus souvent, deux dimensions), s'applique également à la résolution de problèmes de modélisation, de prédiction, etc. est l'une des versions des réseaux de neurones de Coonen. Les cartes auto-organisatrices de Kohonen sont principalement destinées à une analyse de données de visualisation et initiale ("intelligence").

Le signal au réseau Cohonen vient immédiatement à tous les neurones, les poids des synapses correspondantes sont interprétés comme les coordonnées de la position du nœud, et le signal de sortie est formé selon le principe du "gagnant tout prend" - c'est-à-dire le neuronal Le signal de sortie a des neurones, le plus proche (dans le sens des poids synapses) à l'objet d'entrée. Dans le processus de formation, le poids des synapses est configuré de manière à ce que les nœuds de réseau soient "situés" dans des lieux de concentration de données locales, c'est-à-dire la structure de grappes du nuage de données, d'autre part, La relation entre les neurones correspond à la relation de voisinage entre les grappes correspondantes dans les signes des signes.

Il est pratique de prendre en compte de telles cartes comme des grilles bidimensionnelles de nœuds placés dans un espace multidimensionnel. Initialement, la carte d'auto-organisation est une grille de nœuds, interconnectée par des connexions. Kohonen considérait deux options pour connecter des nœuds - dans une grille rectangulaire et hexagonale - la différence est que dans la grille rectangulaire, chaque nœud est connecté à 4 adjacents et hexagonal - avec 6 nœuds à proximité. Pour deux grilles de ce type, le processus de construction d'un réseau coonen ne diffère que dans le lieu où les voisins arrivent à ce nœud.

L'incorporation initiale de la grille dans l'espace de données est sélectionnée arbitraire. Dans le package SOM_PAK de l'auteur, les options de l'emplacement initial aléatoire des nœuds dans l'espace et de l'emplacement des nœuds de l'avion sont proposés. Après cela, les nœuds commencent à se déplacer dans l'espace selon l'algorithme suivant:

Point de données sélectionné au hasard x. .
Déterminé le K. le plus proche x. Noeud de carte (BMU - meilleure unité correspondante).
Ce nœud se déplace vers l'étape spécifiée vers X. Cependant, il ne bouge pas non plus, mais porte une certaine quantité de nœuds les plus proches de certains quartiers sur la carte. À partir de tous les nœuds en mouvement, le centre est le plus changé - le nœud le plus proche du point de données est, et le reste rencontre le décalage plus petit, plus ils proviennent de BMU. Dans le réglage de la carte, la distinction entre les deux étapes - la phase rugueuse (commande) et les réglages fins (réglage fin). À la première étape sont choisis grandes valeurs Les environs et le mouvement des nœuds sont de nature collective - en conséquence, la carte "redresse" et reflète grossièrement la structure de données; À l'étape réglage mince Le rayon du quartier est de 1-2 et les positions individuelles des nœuds sont ajustées. De plus, la valeur de déplacement s'estompe de manière uniforme au fil du temps, c'est-à-dire qu'il est grand au début de chacune des étapes de l'apprentissage et de près de zéro à la fin.
L'algorithme répète un certain nombre d'époques (il est clair que le nombre d'étapes peut varier considérablement en fonction de la tâche).

Types de réseaux célèbres

Network Hamming;
NeoCognitron;
Réseau neuronal chaotique;
Réseau de distribution venant en sens inverse;
Réseau de fonctions de base radiale (réseau RBF);
Réseau de régression généralisée;
Réseau probabiliste;
Réseau neural siamois;
Résonance adaptative réseau.

Différences des voitures avec l'architecture fond Nymanan

La longue période d'évolution a donné au cerveau humain beaucoup de qualités qui ne sont pas dans les machines avec l'architecture von Neumanna:

Parallélisme de masse;
Représentation distribuée d'informations et de calcul;
Capacité à enseigner et à généraliser;
Adaptabilité;
Propriété de traitement de l'information contextuelle;
Tolérance aux erreurs;
Faible consommation d'énergie.

Réseaux de neurones - approximateurs universels

Les réseaux de neurones sont des dispositifs d'approximation universels et peuvent imiter n'importe quelle machine continue avec toute précision. Un théorème d'approximation généralisé a été prouvé: en utilisant des opérations linéaires et des composés en cascade, il est possible d'un élément non linéaire arbitraire pour obtenir un dispositif qui calcule toute fonction continue avec une précision injectable. Cela signifie que la caractéristique non linéaire du neuron peut être arbitraire: d'un sigmoïdal à un paquet d'onde arbitraire ou d'ondelettes, sinus ou polynômes. La complexité d'un réseau particulier peut dépendre du choix de la fonction non linéaire, mais avec n'importe quelle non linéarité, le réseau reste un approximateur universel et, avec le choix correct de la structure, il peut être d'une manière d'une certaine approximation avec précision le fonctionnement de toute machine continue.

Exemples d'applications

Prévision des séries chronologiques financières

Les données d'entrée sont un cours de campagne pour l'année. Tâche - Identifier demain. La transformation suivante est effectuée - elle est construite dans un certain nombre de cours pour aujourd'hui, hier, pour la veille de l'hier, pour un ami. La ligne suivante est décalée par date pendant un jour et ainsi de suite. Sur l'ensemble reçu, un réseau avec 3 entrées et une sortie est appris - c'est-à-dire la sortie: la date à la date, les entrées: le cours à la date moins 1 jour, moins 2 jours, moins 3 jours. Le réseau qualifié est soumis au cours d'entrée pour aujourd'hui, hier, la veille d'hier et obtenir la réponse à demain. Il est facile de noter que dans ce cas, le réseau affichera simplement la dépendance d'un paramètre de trois précédents. S'il est conseillé de considérer un autre paramètre (par exemple, un indice commun dans l'industrie), il est nécessaire de l'ajouter comme une entrée (et d'inclure dans des exemples), réécrivez le réseau et obtenir de nouveaux résultats. Pour la formation la plus précise, cela vaut la peine d'utiliser la méthode ORO comme la plus prévisible et la plus simple dans la mise en œuvre.

Psychodiagnostique

Une série d'œuvres de M. G. Dorrer avec des co-auteurs est consacrée à l'étude de la possibilité d'élaborer une intuition psychologique dans les systèmes d'experts du réseau de neurones. Les résultats obtenus donnent une approche de la divulgation du mécanisme d'intuition des réseaux de neurones, manifestés pour résoudre les tâches psychodiagnostiques. Créé non-standard pour les techniques informatiques intuitif L'approche des psychodiagnostics conclus dans l'exclusion de la construction décrit la réalité. Il réduit et simplifie les travaux sur les techniques psychodiagnostiques.

Chiminformatique

Les réseaux de neurones sont largement utilisés dans les études chimiques et biochimiques. Les réseaux de neurones actuellement sont l'une des méthodes les plus courantes de chiminformatique à rechercher des ratios quantitatifs. La conception directionnelle des composés chimiques et des matériaux avec des propriétés prédéterminées, y compris lors du développement de nouveaux médicaments.

Remarques

McKallock W. S., Pitts V., Calcul logique des idées liées à l'activité nerveuse // en samedi.: "Automatics" Ed. K. E. Shannon et J. McCarthy. - M.: Publishing House of Forers. allumé, 1956. - p.363-384. (Traduction de l'article 1943 anglais)
Reconnaissance de modèle et contrôle adaptatif. Bernard Winrowow
ODRO B., STYRNS S., Traitement de signal adaptatif. - M .: Radio et Communication, 1989. - 440 c.
Werbos P. J., Au-delà de la régression: nouveaux outils de prévision et d'analyse dans les sciences des comportements. Doctorat. Thèse, Université Harvard, Cambridge, Ma, 1974.
GALUSHKIN A. I. Synthèse de systèmes de reconnaissance d'images multicouches. - M.: Energia, 1974.
Rumelhart D.e., Hinton G.e., Williams R.J., Apprendre des représentations internes par propagation d'erreur. Dans: Traitement distribué parallèle, vol. 1, pp. 318-362. Cambridge, Ma, Mit Press. 1986.
Bartev S. I., Okhonin V. A. A. Réseaux de traitement de réseau adaptatif. Krasnoyarsk: Physique in-t de l'Académie des sciences de l'URSS, 1986. Prépret n 59b. - 20 s.
BaseGroup Labs - Application pratique des réseaux de neurones dans les tâches de classification
Ce type de codage est parfois appelé le code "1 de n"
Systèmes ouverts - Introduction à Neuralo
MIRKES E. M. M., Des réseaux de neurones logiquement transparents et la production de connaissances explicites des données, dans le livre: Neurinformatique / A. N. Gorban, V. L. Dunin-Barkovsky, A. N. Kirdomin et autres - Novosibirsk: Science. Sibérie Enterprise RAS, 1998. - 296 avec ISBN 5020314102
Mention de cette histoire dans le magazine "Mécanique populaire"
http://www.intuit.ru/department/expert/neuro/10/ Intuit.ru - Réseaux récurrents en tant qu'appareils mémorables associatifs]
Kohonen, T. (1989/1997/2001), Cartes auto-organisées, Berlin - New York: Springer-Verlag. Première édition 1989, deuxième édition 1997, THRD a parcouru Edition 2001, ISBN 0-387-51387-6, ISBN 3-540-67921-9
Zinoviev A. Yu. Visualisation des données multidimensionnelles. - Krasnoyarsk: Ed. Université technique de l'État de Krasnoyarsk, 2000. - 180 p.
Gorban A. N., Théorème et capacités de calcul de l'approximation généralisées des réseaux de neurones, magazine sibérienne de mathématiques informatiques, 1998. T.1, n ° 1. P. 12-24.
Gorban A.n., Rossiyev D.A., Dorrer M.g., MULTINEURON - Simulateur de réseaux de neurones pour applications médicales, physiologiques et psychologiques, WCNN'95, Washington, DC: Congrès mondial sur les réseaux de neurones 1995 Société internationale de réseau de neurones Réunion annuelle: Renaissance Hotel, Washington, DC, USA, Juillet 17-21, 1995.
Dorrer M. G., Intuition psychologique des réseaux de neurones artificiels, Diss. ... 1998. Autres copies en ligne:
Baskin I. I., Palyulin V. A., Zephyrov N. S., L'utilisation de réseaux de neurones artificiels dans des études chimiques et biochimiques, Vestn. Mosk. UN-TA. Ser. 2. Chimie. 1999. T.40. Numéro 5.
Galbers N. M., Baskin I. I., Palyulin V. A., Zephyrov N. S. Réseaux de neurones comme méthode de recherche de la structure de dépendances - la propriété des composés organiques // Succès chimie. - 2003. - T. 72. - № 7. - P. 706-727.
Baskin I. I., Palyulin V. A., Zephyrov N. S. Perceptrons multicouches dans l'étude des dépendances "Propriété de la structure" pour les composés organiques // Journal chimique russe (magazine de la Société chimique russe. D.I. IMETELETEVA). - 2006. - T. 50. - P. 86-96.

Liens

Réseau neural artificiel pour PHP 5.x - Un projet sérieux de développer des réseaux de neurones dans le langage de programmation PHP 5.x
Forum dédié aux réseaux de neurones et aux algorithmes génétiques
MIRKES E. M. M., Neuroinformatique: études. Manuel pour les étudiants avec des programmes de travail de laboratoire.
Exemples étape par étape de la mise en œuvre des types les plus célèbres de réseaux de neurones sur Matlab, Boîte à outils réseau neuronal
Sélection de matériaux sur les réseaux de neurones et l'analyse intelligente
Entrées Application des réseaux de neurones en prévision des prix des actions

En conséquence, le réseau de neurones prend deux chiffres à entrer et devrait donner un autre nombre à la sortie - Réponse. Maintenant sur les réseaux de neurones eux-mêmes.

Qu'est-ce qu'un réseau de neurones?

Le réseau neuronal est une séquence de neurones interconnectés par des synapses. La structure du réseau neuronal est venue dans le monde de la programmation directement de la biologie. Grâce à une telle structure, la machine acquiert la capacité d'analyser et même de mémoriser diverses informations. Les réseaux de neurones sont également capables non seulement d'analyser les informations entrantes, mais également de la reproduire de leur mémoire. Vous êtes intéressé à consulter 2 vidéos de Ted Talks: Video 1. , Video 2.). En d'autres termes, il est de névraliser cette interprétation de la machine du cerveau humain, dans laquelle il existe des millions de neurones de transmission d'informations sous forme d'impulsions électriques.

Quels sont les réseaux de neurones?

Jusqu'à présent, nous examinerons des exemples sur le type le plus élémentaire de réseaux de neurones - il s'agit d'un réseau de distribution directe (ci-après dénommé SPR). En outre, dans les articles suivants, je présenterai plus de concepts et vous parlerai de réseaux de neurones récurrents. La SPR semble être hors du nom de ce réseau avec une connexion série de couches de neurones, en informatique ne va toujours que dans une direction.

Pourquoi les réseaux de neurones ont-ils besoin?

Les réseaux de neurones sont utilisés pour résoudre des tâches complexes nécessitant des calculs analytiques similaires à ce qui rend le cerveau humain. Les utilisations les plus courantes des réseaux de neurones sont les suivantes:

Classification - Distribution des données par paramètres. Par exemple, un ensemble de personnes est donné à l'entrée et doit décider lequel d'entre eux de donner un prêt et qui ne le fait pas. Ce travail peut créer un réseau de neurones, analyser de telles informations comme: âge, solvabilité, historique de crédit, etc.

Prédiction - Capacité à prédire la prochaine étape. Par exemple, la croissance ou la baisse des actions, sur la base de la situation sur le marché boursier.

Reconnaissance - Actuellement, l'utilisation la plus large des réseaux de neurones. Il est utilisé dans Google lorsque vous recherchez une photo ou dans des chambres des téléphones lorsqu'il détermine la position de votre visage et la met en évidence et bien plus encore.

Maintenant, afin de comprendre comment fonctionnent les réseaux de neurones, examinons ses composants et leurs paramètres.

Qu'est-ce que le neurone?

Neuron est une unité de calcul qui reçoit des informations simples les calculs et le transmettent plus loin. Ils sont divisés en trois types principaux: entrée (bleu), cachée (rouge) et sortie (vert). Il y a aussi du neurone neuron et du neurone contextuel sur lequel nous allons parler dans le prochain article. Dans le cas où le réseau neuronal est constitué d'un grand nombre de neurones, la couche terme est introduite. En conséquence, il existe une couche d'entrée qui reçoit des informations, n couches cachées (généralement pas plus de 3), qui est traitée et la couche de sortie qui affiche le résultat. Chacun des neurones a 2 paramètres de base: données d'entrée (données d'entrée) et sortie (données de sortie). Dans le cas du neurone d'entrée: entrée \u003d sortie. Dans le reste, le champ de saisie entre dans les informations totales de tous les neurones de la couche précédente, après quoi elle est normalisée, à l'aide de la fonction d'activation (jusqu'à présent, imaginez simultanément que f (x)) et tombe dans le champ de sortie.

Important de se souvenirQue les neurones sont exploités par des nombres dans la plage ou [-1,1]. Et qu'en est-il, vous demandez, puis traitez-vous les chiffres qui sortent de cette gamme? À ce stade, la réponse la plus facile est de diviser 1 pour ce nombre. Ce processus s'appelle la normalisation et on utilise souvent des réseaux de neurones. Plus sur cela un peu plus tard.

Qu'est-ce que Synaps?

Synaps est une connexion entre deux neurones. Les synabses ont 1 paramètre - poids. Grâce à lui, les informations d'entrée changent lorsqu'elles sont transmises d'un neurone à un autre. Supposons qu'il y ait 3 neurones qui transmettent des informations à ce qui suit. Ensuite, nous avons 3 poids correspondant à chacun de ces neurones. Dans ce neurone, dont le poids sera davantage, les informations seront dominantes dans le neurone suivant (exemple - Couleurs de mélange). En fait, la totalité des échelles du réseau neuronal ou de la matrice d'échelle est une sorte de cerveau de l'ensemble du système. Grâce à ces poids, les informations d'entrée sont traitées et se transforment en résultat.

Important de se souvenirQue lors de l'initialisation du réseau neuronal, le poids est défini dans un ordre aléatoire.

Comment fonctionne le réseau de neurones?

DANS cet exemple La partie du réseau neuronal est décrite, où les neurones d'entrée, la lettre H sont indiquées, le neurone caché et la lettre w-poids. À partir de la formule, il est clair que les informations d'entrée sont la somme de toutes les données d'entrée multipliées par leurs poids respectifs. Ensuite, nous donnons à l'entrée 1 et 0. Soit w1 \u003d 0,4 et W2 \u003d 0,7, les données d'entrée de Neuron H1 seront les suivantes: 1 * 0,4 + 0 * 0,7 \u003d 0,4. Maintenant, lorsque nous avons des données d'entrée, nous pouvons obtenir une sortie, substituant la valeur d'entrée à la fonction d'activation (plus à ce sujet ensuite). Maintenant que nous avons un week-end, nous les passons plus loin. Et ainsi, nous répétons que toutes les couches jusqu'à ce que nous fassions avant le neurone de sortie. Exécution de ce réseau pour la première fois, nous verrons que la réponse est loin d'être correcte, car le réseau n'est pas formé. Pour améliorer les résultats, nous allons l'entraîner. Mais avant de savoir comment faire, entrez plusieurs termes et propriétés du réseau neuronal.

Fonction d'activation

La fonction d'activation est un moyen de normaliser les données d'entrée (nous en avons déjà parlé plus tôt). C'est-à-dire que si vous avez un grand nombre à l'entrée, sautez-la à travers la fonction d'activation, vous obtiendrez une solution dans la plage souhaitée. Il existe donc beaucoup de fonctions d'activation, par conséquent, nous considérons le plus fondamental: tangent linéaire, sigmoïde (logistique) et hyperbolique. Leurs principales différences sont la gamme de valeurs.

Fonction linéaire

Cette fonctionnalité n'est presque jamais utilisée, sauf lorsque vous devez tester le réseau neuronal ou transférer la valeur sans transformation.

Sigmoïde

C'est la fonction d'activation la plus courante, sa gamme de valeurs. Il est indiqué que la plupart des exemples du réseau sont présentés, il est également parfois appelé une fonction logistique. En conséquence, si dans votre cas, des valeurs négatives (par exemple, des promotions peuvent non seulement être en hausse, mais également en baisse), alors vous avez besoin d'une fonction qui capture et des valeurs négatives.

Tangente hyperbolique

Il est logique d'utiliser une tangente hyperbolique, uniquement lorsque vos valeurs peuvent être négatives et positive, depuis la plage de fonctions [-1,1]. Utilisez cette fonction uniquement avec des valeurs positives est inappropriée car elle aggravera considérablement les résultats de votre réseau de neurones.

Ensemble d'entraînement

L'ensemble de formation est une séquence de données qui exploite le réseau de neurones. Dans notre cas, exceptionnel ou (xor), nous n'avons que 4 sorties différentes que nous aurons 4 sièges d'entraînement: 0xor0 \u003d 0, 0xor1 \u003d 1, 1xor0 \u003d 1.1xor1 \u003d 0.

Itération

C'est une sorte de compteur qui augmente chaque fois que le réseau neuronal passe un ensemble d'entraînement. En d'autres termes, il s'agit du nombre total de réseaux de formation adoptés par le réseau de neurones.

Époque

Lors de l'initialisation du réseau neuronal, cette valeur est réglée sur 0 et a un ensemble de plafond par manuellement. Plus l'ère est une ère, mieux le réseau est formé et, en conséquence, son résultat. L'époque augmente chaque fois que nous passons à l'ensemble des réseaux de formation, dans notre cas, 4 ensembles ou 4 itérations.

Important Ne confondez pas l'itération avec l'ère et comprenez la séquence de leur incrément. N premier.
Il augmente l'itération, puis l'ère et rien au contraire. En d'autres termes, il est impossible de former le NeuleLet uniquement sur un ensemble, puis de l'autre et ainsi de suite. Vous devez former chaque ensemble une fois pour l'époque. Donc, vous pouvez éviter les erreurs dans les calculs.

Erreur

Une erreur est un pourcentage qui reflète la différence entre les réponses attendues et reçues. L'erreur est formée chaque époque et devrait aller au déclin. Si cela ne se produit pas, cela signifie que vous faites quelque chose de mal. Une erreur peut être calculée de différentes manières, mais nous ne considérerons que trois manières principales: une erreur carrée moyenne (ci-après MSE), la racine MSE et l'Arctan. Il n'y a pas de restriction sur l'utilisation de la fonction d'activation, et vous êtes libre de choisir n'importe quelle méthode qui vous apportera le meilleur résultat. Il vaut la peine de prendre en compte que chaque méthode considère les erreurs de différentes manières. Arctan, une erreur, presque toujours, sera plus grande, car elle fonctionne sur le principe: plus la différence, plus l'erreur est grande. La racine MSE aura la plus petite erreur, par conséquent, utilisez le plus souvent MSE, qui enregistre l'équilibre dans le calcul de l'erreur.

Racine mse.

Le principe de compter l'erreur dans tous les cas est le même. Pour chaque ensemble, nous considérons une erreur en utilisant une réponse idéale, obtenue. En outre, soyez dans un carré ou calculez la tangente carrée de cette différence, après quoi le nombre résultant est divisé par le nombre de jeux.

Une tâche

Maintenant, pour vérifier vous-même, calculez le résultat, ce réseau neural à l'aide d'un sigmoïde et de son erreur en utilisant MSE.

Données: I1 \u003d 1, I2 \u003d 0, W1 \u003d 0,45, W2 \u003d 0,78, W3 \u003d -0,12, W4 \u003d 0,13, W5 \u003d 1,5, W6 \u003d -2.3.