La recherche Google développe un meilleur apprentissage automatique

Besoin d'améliorer votre visibilité?

Votre site internet ne décolle pas, ou vous souhaitez obtenir des conseils d'optimisation, notre expert vous répond gratuitement du lundi au samedi et de 9h à 19h:

Envoyer un message

Google a récemment publié des recherches sur une technique pour entraîner un modèle capable de résoudre les problèmes de traitement du langage naturel d’une manière pouvant être appliquée à plusieurs tâches. Plutôt que de former un modèle pour résoudre un type de problème, cette approche lui apprend à résoudre un large éventail de problèmes, le rendant plus efficace et faisant progresser l’état de l’art.

Qu’est-ce que Google Flan ?

Le nom du modèle décrit par le document de recherche de Google est FLAN, qui signifie Fine-tuned LANguage Net (FLAN). C’est une technique de réglage des instructions pour apprendre à résoudre les tâches de traitement du langage naturel en général.

La recherche FLAN démontre des améliorations sur la résolution de problèmes Zero-shot. L’apprentissage à zéro est une technique d’apprentissage automatique permettant d’apprendre à une machine à résoudre une tâche contenant des variables inédites en utilisant ce qu’elle a déjà appris.

Google n’utilise pas toutes les recherches dans ses algorithmes

La déclaration officielle de Google sur les documents de recherche est que ce n’est pas parce qu’il publie un algorithme qu’il est utilisé dans la recherche Google.

Publicité

Continuer la lecture ci-dessous

Rien dans le document de recherche ne dit qu’il devrait être utilisé dans la recherche. Mais ce qui rend cette recherche intéressante, c’est qu’elle fait progresser l’état de l’art et améliore la technologie actuelle.

La valeur d’être conscient de la technologie

Les personnes qui ne savent pas comment fonctionnent les moteurs de recherche peuvent finir par le comprendre en termes purement spéculatifs.

C’est ainsi que l’industrie de la recherche s’est retrouvée avec de fausses idées telles que les « mots-clés LSI » et des stratégies absurdes telles qu’essayer de battre la concurrence en créant un contenu dix fois meilleur (ou simplement plus grand) que le contenu du concurrent, sans tenir compte de ce que les utilisateurs pourrait avoir besoin et exiger.

L’intérêt de connaître ces algorithmes et techniques est d’être conscient des contours généraux de ce qui se passe dans les moteurs de recherche afin de ne pas commettre l’erreur de sous-estimer de quoi les moteurs de recherche sont capables.

Le problème que Google FLAN résout

Le principal problème que cette technique résout est de permettre à une machine d’utiliser sa vaste quantité de connaissances pour résoudre des tâches du monde réel.

Publicité

Continuer la lecture ci-dessous

L’approche enseigne à la machine comment généraliser la résolution de problèmes afin de pouvoir résoudre des problèmes invisibles.

Il le fait en fournissant des instructions pour résoudre des problèmes spécifiques, puis en généralisant ces instructions afin de résoudre d’autres problèmes.

Les chercheurs précisent :

« Le modèle est affiné sur des ensembles d’instructions disparates et se généralise à des instructions invisibles. Au fur et à mesure que de nouveaux types de tâches sont ajoutés au modèle de données de réglage fin, les performances s’améliorent.

… Nous montrons qu’en entraînant un modèle sur ces instructions, il devient non seulement bon pour résoudre les types d’instructions qu’il a vues pendant la formation, mais devient bon pour suivre les instructions en général.

Le document de recherche cite une technique populaire actuelle appelée « incitation à zéro ou à quelques coups » qui entraîne une machine à résoudre un problème de langage spécifique et décrit les lacunes de cette technique.

Référencement à la technique d’invite de tir zéro/quelques tirs :

« Cette technique formule une tâche basée sur le texte qu’un modèle de langage aurait pu voir pendant la formation, où ensuite le modèle de langage génère la réponse en complétant le texte.

Par exemple, pour classer le sentiment d’une critique de film, un modèle de langage peut recevoir la phrase « La critique de film « la meilleure RomCom depuis la jolie femme » est _ » et être invité à compléter la phrase avec le mot « positif » ou « négatif ». »

Les chercheurs notent que l’approche zéro tir fonctionne bien, mais que les performances doivent être mesurées par rapport à des tâches que le modèle a déjà vues auparavant.

Les chercheurs écrivent :

« … cela nécessite une ingénierie rapide et minutieuse pour concevoir des tâches qui ressemblent aux données que le modèle a vues pendant la formation… »

Et ce genre de défaut est ce que FLAN résout. Parce que les instructions de formation sont généralisées, le modèle est capable de résoudre plus de problèmes, y compris la résolution de tâches sur lesquelles il n’a pas été formé auparavant.

Google Flan pourrait-il être utilisé ?

Google discute rarement des documents de recherche spécifiques et de l’utilisation ou non de ce qui est décrit. La position officielle de Google sur les documents de recherche qu’il publie beaucoup d’entre eux et qu’ils ne se retrouvent pas nécessairement dans leur algorithme de classement de recherche.

Google est généralement opaque sur le contenu de ses algorithmes et à juste titre.

Même lorsqu’il annonce de nouvelles technologies, Google a tendance à leur donner des noms qui ne correspondent pas aux articles de recherche publiés. Par exemple, des noms comme Neural Matching et Rank Brain ne correspondent pas à des documents de recherche spécifiques.

Publicité

Continuer la lecture ci-dessous

Il est important d’examiner le succès de la recherche, car certaines recherches n’atteignent pas leurs objectifs et ne sont pas aussi performantes que l’état de l’art actuel en matière de techniques et d’algorithmes.

Les articles de recherche qui échouent peuvent plus ou moins être ignorés, mais ils sont bons à connaître.

Les documents de recherche qui ont le plus de valeur pour la communauté du marketing de recherche sont ceux qui réussissent et fonctionnent bien mieux que l’état de l’art actuel.

Et c’est le cas avec le FLAN de Google.

FLAN améliore l’état actuel de l’art et pour cette raison, FLAN est quelque chose dont il faut être conscient.

Les chercheurs ont noté :

« Nous avons évalué le FLAN sur 25 tâches et constaté qu’il s’améliore par rapport à l’invite de tir zéro sur toutes sauf quatre. Nous avons constaté que nos résultats sont meilleurs que le GPT-3 à zéro tir sur 20 des 25 tâches, et meilleurs que même le GPT-3 à quelques tirs sur certaines tâches. »

Inférence en langage naturel

La tâche d’inférence en langage naturel est une tâche dans laquelle la machine doit déterminer si une prémisse donnée est vraie, fausse ou indéterminée/neutre (ni vraie ni fausse).

Publicité

Continuer la lecture ci-dessous

Performances d’inférence en langage naturel de FLAN

La recherche Google développe un meilleur apprentissage automatique

Compréhension écrite

Il s’agit de répondre à une question en fonction du contenu d’un document.

Compréhension écrite Performance de FLAN

La recherche Google développe un meilleur apprentissage automatique

AQ à livre fermé

Il s’agit de la capacité de répondre aux questions avec des données factuelles, qui teste la capacité de faire correspondre des faits connus avec les questions. Un exemple consiste à répondre à des questions telles que de quelle couleur est le ciel ou qui a été le premier président des États-Unis.

Publicité

Continuer la lecture ci-dessous

Performances d’assurance qualité à livre fermé de FLAN

La recherche Google développe un meilleur apprentissage automatique

Google utilise-t-il FLAN ?

Comme indiqué précédemment, Google ne confirme généralement pas s’il utilise un algorithme ou une technique spécifique.

Cependant, le fait que cette technique particulière fasse avancer l’état de l’art pourrait signifier qu’il n’est pas déraisonnable de spéculer qu’une certaine forme de celle-ci pourrait être intégrée à l’algorithme de Google, améliorant ainsi sa capacité à répondre aux requêtes de recherche.

Publicité

Continuer la lecture ci-dessous

Cette recherche a été publiée le 28 octobre 2021.

Certains de ces éléments auraient-ils pu être intégrés à la récente mise à jour de l’algorithme de base ?

Les mises à jour des algorithmes de base sont généralement axées sur une meilleure compréhension des requêtes et des pages Web et sur la fourniture de meilleures réponses.

On ne peut que spéculer car Google partage rarement des détails, en particulier en ce qui concerne les mises à jour des algorithmes de base.

Citation

Présentation de FLAN : des modèles de langage plus généralisables avec un réglage fin des instructions

Image de Shutterstock

if( typeof sopp !== "undefined" && sopp === 'yes' ){ fbq('dataProcessingOptions', ['LDU'], 1, 1000); }else{ fbq('dataProcessingOptions', []); }

fbq('init', '1321385257908563');

fbq('track', 'PageView');

fbq('trackSingle', '1321385257908563', 'ViewContent', { content_name: 'flan-google-research-finds-better-machine-learning', content_category: 'news seo ' });


Article traduis depuis:
Source link