NOMBRES - Curiosités, théorie et usages

 

Accueil                           DicoNombre            Rubriques           Nouveautés      Édition du: 10/12/2016

Orientation générale        DicoMot Math          Atlas                   Références                     M'écrire

Barre de recherche          DicoCulture              Index alphabétique                               

     

LOGIQUE

 

Débutants

Algorithme

Intelligence artificielle

 

Glossaire

Algorithme

 

 

INDEX

 

 

Logique

Introduction

Algorithmes

Jeux

Théorie

Machine de Turing

Systèmes experts

Rx neuronaux

Programmation

Automate

Lambda-calcul

 

Sommaire de cette page

>>> Approche

>>> Domaine et propriétés

>>> Réseaux à apprentissage

>>> Réseaux neuronaux 

>>> Circuit et loi de Hebb

 

 

 

 

>>> Historique

>>> Le point en début 2015

>>> Le point en début 2016

>>> Domaine de la neuronique

 

 

 

 

Voir Pensées & humour

 

 

RÉSEAUX DE NEURONES ARTIFICIELS

Réseau neuronal

Neuronique

Neuromimétique

Connexionisme

Neural network

Deep learning ou apprentissage profond (ou automatique)

 

Système qui imite les neurones vivants. À force d'apprentissage, le système s'imprègne des conclusions à donner face à une situation nouvelle.

Après avoir connu une période de doute (années 1990), les réseaux de neurones sont de nouveaux très utilisés. Voir un point rapide sur leur fonctionnement et l'état de l'art en 2016 >>>

Lire au préalable: Traitement automatique de l'information

Voir Dilemme de Sita – Amusement, sérieux.

 

 

 

 

 

Approche

Les réseaux de neurones

*    Ces réseaux ont été développés pour résoudre des problèmes:

*      de contrôle,

*      de reconnaissance de formes ou de mots,

*      de décision, et

*      de mémorisation.

*    Ils sont en relation plus ou moins étroite:

*      avec la modélisation de processus cognitifs réels, et

*      des réseaux de neurones biologiques.

 

Applications

*    Ils sont couramment employés dans de nombreuses machines, comme celles qui effectuent la reconnaissance de votre écriture sur des bons de commande ou à la Sécurité Sociale.

*    Ils sont utilisés en radars et en sonars pour reconnaître des signaux, des formes ou des sons.

 

Définition

*    Les réseaux de neurones artificiels sont des réseaux fortement connectés de processeurs élémentaires fonctionnant en parallèle.

*    Chaque processeur élémentaire calcule une sortie unique sur la base des informations qu'il reçoit.

*    Toute structure hiérarchique de réseaux est évidemment un réseau.

D'après Claude TOUZET - Auteur de cours sur le sujet

 

 

 

 

Réseaux de neurones

 

 

Domaines

 

NEURONIQUE

 

 

Étude, modélisation

& utilisation des réseaux de neurones.

 

CONNEXIONNISTES

NEUROMIMÉTICIENS

Améliorent les capacités de l'informatique en utilisant des modèles aux composants fortement connectés.

Manipulent des modèles de réseaux de neurones artificiels dans l'unique but de vérifier leurs théories biologiques du fonctionnement du système nerveux central.

  

Propriétés

*    Les réseaux neuronaux sont universels, capables de résoudre tous les problèmes comme la machine de Turing.

*    Les réseaux de neurones se comportent plus d'une façon adaptative que programmée. Ils sont capables de fonctionner même en présence d'une information partielle ou d'une information brouillée.

*    Ils fonctionnent comme une machine de classification qui extrait les traits caractéristiques des objets présentés lors de l'apprentissage, pour réorganiser sa connaissance en conséquence.

 

 

  

RÉSEAUX à APPRENTISSAGE

 

 

*    Seul le résultat compte. On y arrivera après de nombreux essais au cours desquels le système va distinguer les spécificités de telle ou telle solution pour ne plus les confondre.

*    La seule contrainte est de montrer inlassablement le résultat attendu au système. Lorsque le système donne lui-même le résultat attendu dans une grande majorité des cas, l'apprentissage est terminé.

 

 

Exemple 1 – Aller au bureau, au supermarché …

 

*       On va au bureau, le système suit le parcours.

*       Le système enregistre un certain nombre de paramètres, du type: " attention après la station à essence, je tourne à gauche "

----

*       On recommence:

*       Raté il va dans la rue d'à côté.

*       On lui montre qu'il s'est trompé.

*       Il enregistre quelques repères complémentaires pour mieux reconnaître son chemin.

----

*       On recommence: ça marche!

*       On le perturbe en lui montrant comment aller au supermarché.

----

*       Il se plante aussi bien pour y aller que pour aller au bureau.

*       Les paramètres enregistrés n'étaient pas suffisants pour obtenir le résultat à tout coup.

*       Il enregistre encore d'autres paramètres pour "durcir" ses solutions

----

Etc.

 

Exemple 2 – Reconnaître le chant du rossignol

 

*       Écoute un rossignol et enregistre:

*    la hauteur du son,

*    son timbre,

*    sa mélodie

*       Écoute un canari et note:

*    les différences avec les paramètres pour le rossignol.

*       A ce stade, le système saura sûrement reconnaître le rossignol du canari et même rejeter le corbeau.

*       Par contre, il se peut que le pinson le trouble.

*       Il faut poursuivre l'apprentissage.

 

 

L'outil neuronique, ainsi conçu,

est un outil de reconnaissance automatique

au service de l'homme.

 

Apprentissage

 

*    On montre les résultats à atteindre et le système trouve seul la manière d'y arriver. Un peu comme on éduque un jeune chiot, ou même un bébé.

 

 

 

RÉSEAUX NEURONAUX

 

Avec les réseaux neuronaux

*    On peut partir d'algorithmes médiocres et les laisser améliorer leurs capacités grâce à l'expérience. Plutôt que d'indiquer pas à pas comment parvenir au résultat recherché, on fournit simplement des données à ces réseaux qui, suivant un processus d'apprentissage, comparent leur résultat à celui recherché pour tenter ensuite de s'en rapprocher au mieux

 

*    Les réseaux neuronaux sont composés de plusieurs couches de cellules reliées entre elles et formant une vaste toile. Ce réseau est capable d'ajuster la force de ses propres interconnexions, exactement comme cela se passe pour celles du cerveau humain, lors de l'apprentissage

 

*    Ces réseaux ont la faculté de reconnaître les visages, les voix, les règles du jeu des dames ou des échecs, à stabiliser un hélicoptère

 

*    On parle d'algorithmes génétiques. Mais il est difficile de comprendre pourquoi et comment ça marche. Le résultat obtenu est une sorte de boite noire qu'il faudrait ouvrir pour en saisir le mécanisme. Et sans cela, comment être sûr que le fonctionnement est parfait, sans comportement imprévu?

 

*    Difficile d'apprécier si le but est atteint ou presque atteint? (Fonction, de fitness)

*    L'évolution et la sélection n'est pas forcément suffisante pour arriver au mieux, à la solution la plus astucieuse.

*    L'objection peut être résumée par la formule: les avions à réactions ne battent pas des ailes

 

*    Cette puissance de calcul est plus adaptée à l'étude du génome, la gestion du trafic aérien, la recherche du pétrole, la prévision météorologique, autant de domaines dans lesquels il est nécessaire d'explorer en parallèle un grand nombre de possibilités pour trouver un résultat.

 

 

 

Réseaux de neurones – Caractérisation

 

*    Type: Calculateur classique Réseaux neuronaux.

*    Processeur: Complexe, haute vitesse, unique ou peu nombreux; simple faible vitesse, grand nombre.

*    Mémoire: séparée du processeur, localisée, accès par adressage; intégrée au processeur, distribuée, adressable par le contenu.

*    Traitement: centralisé, séquentiel, sur programmes enregistrés; distribué, parallèle, auto apprentissage.

*    Fiabilité: très vulnérable; robuste.

*    Expertise: manipulation de nombres et de symboles; problèmes perceptifs.

*    Autres: apprentissage, adaptabilité, capacité de généralisation, traitement contextualisé des informations, représentation distribuée des informations, parallélisme massif.

 

 

 

 

CIRCUIT et LOI de HEBB

 

PRINCIPE DE FONCTIONNEMENT du réseau de neurones

 

*    Le principe est celui d'un automate:

 

 

SORTIES = f (ENTRÉES et, des SORTIES précédentes)

 

*    Automate dont les entrées sont pondérées et la fonction de transfert adaptée

 

 

SORTIES = f(ENTRÉES pondérées et des SORTIES précédentes) 

Les pondérations sont données par le système

au fur et à mesure de l'apprentissage.

 

 

Principe  des réseaux multicouches

 

 

LOI de HEBB

 

*    La force des connexions synaptiques à l'entrée du neurone peut s'adapter, pour obtenir l'activité requise au niveau de la synapse de sortie.

 

 

Si deux cellules sont activées en même temps

alors la force de la connexion augmente.

 

 

 

HISTORIQUE 

1890

W. James

*      Introduit le concept de mémoire associative.

1942

Norbert Wiener

*      Boucle de rétroaction cybernétique.

1943

McCulloch et

Pitts

*      Modèle formel de neurone biologique.

1949

Hebb

*      Explique le conditionnement chez l'animal par les propriétés des neurones eux-mêmes. Loi pouvant expliquer le phénomène d'apprentissage.

1957

Rosenblatt

*      Perceptron, premier neuro-ordinateur, première tentative de reproduire le cerveau de l'homme.

1960

B. Widrow

*      Développe le modèle Adaline à l'origine de l'algorithme de rétropropagation de gradient très utilisé aujourd'hui avec les Perceptrons multicouches.

1969

Minsky et

Papert

*      Démontrent qu'une classe de problème ne peut pas être résolue par le perceptron. Ils donnent les limitations théoriques du perceptron et de la neuronique. Les financements se dirigent les systèmes experts.

1982

John Hopfield

*      On lui doit le renouveau d'intérêt pour les réseaux de neurones artificiels: perceptron multicouches.

1983

Boltzmann*

*      La Machine de Boltzmann contourne les limitations du perceptron.

1985

 

*      La rétro propagation de gradient apparaît. C'est un algorithme d'apprentissage adapté aux réseaux de neurones multicouches.

1986

Werbos puis Rumelhart,

Hinton et

Williams

*      Algorithme d'apprentissage applicable au perceptron de type récursif (back propagation). La classe de problème de Minsky et Papert peut être résolue.

* Nom et Prénom à vérifier :

Ce n'est pas le célèbre Boltzmann de la théorie cinétique des gaz basée sur l'hypothèse atomiste, avant-gardisme, suicidé en 1906 

 

 

Le point en début 2015

 

*    Observation du retour en force des réseaux de neurones au NIPS de Montréal en décembre  2014.

 

À l’image du cerveau humain, plusieurs couches de neurones artificiels, reliées entre elles par des synapses ayant un poids plus ou moins important, sont entraînées par essai/erreur à réaliser une certaine tâche de prédiction. À la fin de l’apprentissage, les poids synaptiques sont réglés de manière optimale pour réussir la tâche en question. La force de ces méthodes est d’être capable d’apprendre par analogie sans que le modélisateur ait besoin d’émettre de règles a priori sur la relation entre données d’entrée et de sortie. La reconnaissance de l’écriture manuscrite en est un "cas d’école" classique : alors qu’il est très difficile d’émettre de règles précises sur la forme de telle ou telle lettre dans une image traduite en tableau de pixels, les réseaux de neurones sont quasi-infaillibles sur ce problème – Yseulys Costes

 

*    Défi: concilier la capacité d’apprentissage d’un système biologique avec la puissance de calcul des outils modernes.

*    La technologie neuronique a connu un succès précoce dès les années 1960.
Face à de grosses difficultés de réalisation, l'engouement a faibli.
Les, en 2014, voici de nouveau sur le devant de la scène sous le nom de Deep Learning.

 

*    Les idées neuves:

*    concentration les ressources d’apprentissages sur certains objets d’intérêt,

*    développement les réseaux de neurones multitâches capables de réutiliser la connaissance apprise et l'appliquer à des tâches similaires, et

*    mise au point d'une nouvelle méthode de traduction automatique de textes.

 

D'après l'Atelier: Huge data par Yseulys Costes

 

 

Le point en début 2016

 

Dans les années 1990, les réseaux de neurones furent boudés en raison de l'existence de nombreux blocages sur des points critiques, les minimums locaux.

Des travaux récents ont permis d'identifier et de contourner cette difficulté.

 

Fonctionnement

Les neurones artificiels sont des blocs de code informatique qui reproduisent de manière simplifiée l'action des neurones biologiques. Chacun est doté de plusieurs entrées et d'une sortie. Les entrées reçoivent des informations provenant des sorties des neurones précédents (effet synapse).

La connexion entre deux neurones est caractérisée par un poids synaptique, un nombre qui qualifie la pertinence de la liaison, une sorte d'effet de mémoire.

Ce sont ces valeurs qui vont s'affiner avec l'apprentissage. Plus cette liaison sera impliquée dans l'indication de la bonne réponse et plus le poids va augmenter.

Après un long apprentissage, les poids se stabilisent et le réseau à atteint sa configuration opérationnelle; prêt à se confronter à des situations nouvelles.

 

 

Auteurs: Yoshua Bengio (né en 1964), directeur de l'Institut des algorithmes de Montréal et Yann LeCun, directeur du laboratoire d'intelligence artificielle de Facebook et leurs équipes.

 

 

Analogie

Imaginez que vous appreniez à faire du ski dans une montagne comportant de nombreux vallons. Vous apprenez bien et, le jour arrive où vous êtes lâché tout seul. Tout se passe bien, vous descendez. Puis, vous êtes bloqué. C'est effectivement un point bas, mais ce n'est pas la station d'arrivée. Vous êtes dans un minimum local et non dans le minimum global recherché.

Il vous faudra apprendre à chercher la sortie de cette cuvette …

 

 

Le blocage aux points critiques

Dans certains cas, les poids atteignent une limite qui correspond à un minimum local et non global; comme si l'algorithme s'était engagé dans une impasse. Les performances du réseau sont alors bien médiocres et ce phénomène explique le désamour des années 1990.

Les auteurs expliquent avoir trouvé la parade. Ils se focalisent sur les points d'impasse, les points critiques. Ce sont des points en "selle de cheval" qui finalement possèdent une sorte. Ils ont également constaté que ces points critiques sont de moins en moins nombreux dès que la quantité de neurones grandit considérablement. Ce que permet la technologie actuelle avec des centaines de millions de synapses.

 

D'après C'est la fin d'une croyance sur les réseaux de neurones Yoshua Bengio interviewé par Gauthier Cariou

– La Recherche de janvier 2016 – pages 64 et 65

 

 

 

Le domaine de la neuronique et de l'intelligence artificielle

 

 

Le NIPS (Neural Information Processing Systems) est une conférence scientifique en intelligence artificielle et en neurosciences computationnelles qui se tient chaque année à Vancouver, Canada.

 

Sujets d'études:

*      Réseaux de neurones et compréhension du fonctionnement du cerveau:

reconnaissance de la parole,

reconnaissance d'objets;

reconnaissance de visages;

interprétation des images du cerveau.

*      Systèmes d'apprentissage biologiques ou artificiels;

*      Intelligence artificielle; Déductions automatiques;

*      Science cognitive; Réponse de la machine au langage naturel;

*      Vision par ordinateur; Perception par la machine;

*      Anticipation des intentions humaines au cours du dialogue homme-machine;

*      Linguistique statistique; Technologie du langage (traduction automatique);

*      Traitement des "huge data" (déluge de données, encore plus que Big data);

*      Théorie de l'information; Association automatique de mots aux images pour leur classement et leur recherche;

*      Machine learning à partir de ces gros volumes de données. Face aux téraoctets, adaptation des algorithmes aux architectures distribuées;

*      Marketing viral: collecte d'informations sur les consommateurs et incitation à la propagation des messages marketing. Algorithme à haut potentiel de viralisation;

*      Méthode de mesure des performances des outils d'intelligence artificielle;

*      Implémentation de ces technologies au sein des robots.

 Voir NIPS 2014

 

 

Pour obtenir les textes présentés lors de ces conférences (anglais) >>>

Mise à jour de février 2015

 

 

 

 

Suite

*    Affichage de l'heure – Exemple

*    AlgorithmeGlossaire

*    Algorithmes – Les avancées modernes

*    ProgrammationIndex

*    SAT (Satisfaction booléenne)

Voir

*    Algorithmes fourmis

*    Automate

*    Cerveau

*    Dualité

*    Énigmes et paradoxes

*    Incomplétude

*    Intelligence

*    LogiqueIndex

*    Multimédia et informatiqueIndex

*    Outils de la logique

*    Puissance de calcul

*    Puzzles et énigmesIndex

*    Raisonnement

*    Réseaux

*    Systèmes experts

Histoire

*    Événement des années 1900

*    Événements chronologiques

*    Grands Hommes Index

*    Histoire de l'informatique

*    Histoire de l'intelligence artificielle

*    Histoire des mathématiques et des sciences

*    Histoire des ordinateurs

Cette page

http://villemin.gerard.free.fr/Wwwgvmm/Logique/IAneuron.htm