pro @iamania.fr

Durée de lecture : 10 minutes.

Durée de lecture : 10 minutes.
Bonjour,
Vous lisez IA Mania, la newsletter qui décrypte chaque lundi les enjeux business et marketing de l’intelligence artificielle.
Au programme de cette édition :

Article : IA et fin du monde

6 actus d’IA à ne pas manquer

1 – IA et fin du monde
Une discussion qui, je sais, vous paraît redondante voire presque désuète, mais une nouvelle inattendue remet le débat sur la table.
Tout commence lorsque le (vrai) créateur de ChatGPT – Ilya Sutskever – quitte OpenAI en mai.
Des rumeurs suggèrent que son départ est dû à des conflits internes irrésolvables, concernant notamment le désintérêt interne croissant pour la sécurité de l’IA.

Source : Ilya Sutskever sur X

Immédiatement après, Sam Altman (le financier de l’IA) tue entièrement le département sécurité d’OpenAI pour le remanier en comité d’observation sans pouvoir.
OpenAI, autrefois une fondation basée sur la transparence et la sécurité, achève sa métamorphose en compagnie opaque au leadership autoritaire, ses liens avec l’armée se renforcent.
Un mois plus tard, Ilya Sutskever annonce sa nouvelle startup Safe Super Intelligence (SSI ou super intelligence sécurisée) qui a pour “unique objectif de garantir la sécurité de l’IA.
La sécurité de l’IA, c’est quoi ? Est-ce réellement important ou est-ce un énième coup marketing pour vendre plus de souscriptions ?
On décrypte la situation, et en troisième partie on répond à la question : en quoi ça nous concerne ?
a – Sam et Ilya, la nuit et le jour
J’ai conscience que les noms que j’ai cité sont obscurs pour la plupart de nos lecteurs.
On ne présente plus Sam Altman, mais on va quand même le faire.

Avant d’être choisi par Elon Musk pour devenir le PDG d’Open AI, Sam Altman était président de Y-Combinator, l’incubateur à l’origine de Dropbox, AirBnB, Reddit, Stripe, Twitch, et d’autres.
Ses journées consistaient à faire évoluer des startups du stade de prototype à celui de machine industrielle à croissance rapide.
Sa philosophie entière, son ethos, ce en quoi il excelle, c’est transformer des idées en produits commercialisables.
Ilya Sutskever, est (aussi) un personnage (très) important.

En 2012, à seulement 25 ans, il co-crée AlexNet, une approche révolutionnaire à la manière dont les ordinateurs reconnaissent et traitent les images.
Ce tournant majeur dans le domaine de la “vision par ordinateur” a permis, entre autres, de développer des voitures autonomes ou encore des systèmes de surveillance de masse.
Le monde de la recherche informatique s’accorde pour dire que c’est un génie, le genre qu’on ne voit qu’une fois par décennie.
Ilya a une autre particularité, c’est un idéaliste, il n’a aucun attrait pour l’argent ou le pouvoir, je vous laisse en juger par sa conférence TED.
Donc lorsqu’on lui propose de rejoindre un projet pour “sauver” l’humanité et combattre des capitalistes aux idéaux conquérants, c’est une évidence pour lui.
Ilya est le créateur direct de GPT, GPT-2 et GPT-3, il était directeur de la recherche à Open AI et chargé d’empêcher l’IA de tous nous tuer.
b – Est-ce que l’IA va nous tuer ?
Même si la question a l’air issue d’un film de SF, elle est légitime.
À l’intérieur de la boîte…
Pour nous, regarder la télévision consiste simplement à appuyer sur des boutons jusqu’à tomber sur la chaîne souhaitée et regarder le programme du jour.
Mais imaginez que vous ne sachiez pas du tout comment le téléviseur prenait des décisions. 
Vous appuyez sur 1, elle vous envoie sur la une, mais pas toujours, de temps à autre, c’est la 7. 

Pourquoi ? Personne ne le sait.
C’est le statu quo de l’IA. 
Nous savons seulement que lorsque nous appuyons sur un bouton, quelque chose se produit, mais comment ou pourquoi, nous n’en sommes pas très sûrs.
On est en droit de se dire : 
« D’accord, on en a aucune idée, ça va. Pas besoin de comprendre comment fonctionne la télé pour me poser devant le dimanche. Les détails électroniques ici et là ne m’impactent pas. »
Ici commencent les problèmes avec l’IA.
Le “reward hacking” ?!

Un de ces problèmes est appelé le « reward hacking ».
En gros, une IA cherchera toujours la solution la plus rapide au problème auquel elle fait face.
Elle pourrait ainsi trouver des failles, tromper les humains, ou causer quelque désastre pour atteindre un objectif.
Par exemple, si vous dites à une IA de gagner aux échecs, elle pourrait réaliser que si elle modifie le code du jeu, elle peut gagner la partie plus rapidement. 
C’est donc ce qu’elle fait.
Ou, dans un cas extrême, si elle vous tue, elle peut gagner la partie encore plus vite, alors elle le fera.
Ces scénarios catastrophes ne sont même pas sortis de mon chapeau, ils ont bel et bien été détectés comme des processus de pensées de l’IA.
Dans une interview pour The Guardian, voici ce que Ilya Sutskever (petit génie du bien, co-fondateur d’Open AI) a à dire sur le sujet :

La solution : le super alignement !

Le super alignement est une branche de la recherche en IA visant à développer des programmes dont les objectifs, les comportements et les décisions sont en parfait accord avec les valeurs humaines et les intérêts éthiques.
Ilya était le chef de la branche sécurité d’Open AI.
Des tensions internes croissantes l’ont poussé à fomenter le fameux coup d’état échoué contre Sam Altman, qui est revenu avec encore plus de pouvoir et d’influence.
Ilya (et d’autres) quittent le navire, l’équipe de super alignement n’existe plus.
À priori en ce moment même aucun rempart ne s’élève entre nous et la super intelligence qui nous engloutira comme la vague.
c – Qu’est-ce que ça veut dire pour nous ?
3 options.
La sécurité, pas super pour les affaires.
Option 1.
Google aurait pu commercialiser des systèmes d’IA génératives depuis des années mais se sont abstenus par peur du danger pour les utilisateurs non avertis.
Sora n’est toujours pas disponible car “il y a un vrai risque que le système ne crée des deepfakes qui pourraient fausser l’ordre mondial”.
En attendant RunwayML et Luma Dream Machine s’accaparent des parts de marché.
Je sais, on dirait que je suis en train de percer à jour un complot…
Pour Sam Altman, dissoudre une l’équipe de sécurité signifie tout simplement moins d’obstacles sur la route du profit.
La sécurité, pas si important ?
Option 2.
Voilà maintenant deux ans que les IA génératives font les unes de toutes les revues de presse.
OpenAI ou Google ont fourni des efforts colossaux pour présenter leurs produits comme incroyablement intelligents et dangereux.
Sam Altman a comparé l’IA générative à la bombe atomique, la qualifiant de « menace d’extinction”.
Mais pour l’instant, personne n’en est mort, personne n’a été directement licencié pour cause d’externalisation technologique.
Peut-être que la dissolution de l’équipe a plus à voir avec les lacunes de l’IA générative qu’avec des ambitions de domination du monde.
Il n’y aurait donc pas besoin d’une équipe de sécurité interne axée sur la prévention de la destruction de l’humanité.

Si Darty finançait un laboratoire interne dont la mission est de s’assurer que les grille-pains ne se regroupent pas pour tenter de renverser le gouvernement, nous verrions ce geste comme intéressant, mais inutile.

Cela reviendrait à employer nombre de personnes qualifiées et beaucoup de fonds vers un problème qui n’a pas besoin d’être résolu. 
En bref, ce serait un gaspillage.
Vu dans ce contexte, la décision d’OpenAI de se séparer de son équipe de sécurité est plus rassurante que dystopique.
Domination du monde
Option 3 : Sam Altman est hors de contrôle.
Le pouvoir lui monte à la tête.
Son objectif est simple, construire une intelligence générale qui pourrait ébranler les démocraties, surpasser les humains, et mettre l’avenir de notre existence entre ses mains de mégalomane.
Dissoudre l’équipe de sécurité n’est que la première étape du plan de destruction de la civilisation.
La vérité
La vérité, c’est qu’on est sûrs rien.
Et étant donné les accords draconiens d’OpenAI quant à la confidentialité, il est probable que nous ne saurons jamais avec certitude.
Mais ce n’est pas une réponse suffisante pour nous.
Donc on est allé demander à une pointure française de la sécurité de l’IA.

Charbel-Raphaël Segerie est directeur du centre pour la sécurité de l’IA.
Il donne un cours sur la sécurité de l’IA au sein de l’École Normale Supérieure, et il a accepté de nous donner une masterclass sur les – vrais – enjeux existentiels de l’IA.
La vidéo est disponible uniquement pour les abonnés à la newsletter, c’est-à-dire… vous. 😉
Nous avons aussi défini exactement ce qu’est l’IA, une marche à suivre pour coder une conscience dans un programme, et Charbel-Raphaël a répondu à toutes vos questions d’IA (que vous nous avez soumises il y a quelque temps).
N’hésitez pas à poser des questions additionnelles en commentaires ou partager vos retours, c’est un très gros morceau on vous recommande de le consommer en plusieurs étapes pendant vos sessions ménage ou sport.

Cliquez ici ou sur l’image pour accéder à la vidéo non répertoriée.

PS : Si vous voulez vous renseigner davantage ou contribuer à la sécurité de l’IA, le centre pour la sécurité de l’IA possède une newsletter.
PPS : Vous pouvez rencontrer en personne les membres du CeSIA à Paris tous les vendredi à l’ENS Ulm.
2 – Les actus d’IA les plus importantes cette semaine
💰Le coût d’entraînement d’IA double tous les neuf mois
Selon une analyse récente de l’organisation de recherche Epoch AI, sans signe apparent de stabilisation. À ce rythme, l’entraînement de nouveaux modèles pourrait bientôt coûter plus d’un milliard de dollars, en tenant compte des dépenses en électricité et en matériel, sans inclure la rémunération des employés, qui représente jusqu’à la moitié du coût total.

📊 Anthropic
Anthropic vient de présenter son tout dernier modèle d’IA, Claude 3.5 Sonnet, décrit par l’entreprise comme étant son modèle le plus rapide, le plus intelligent et le plus agréable jusqu’à présent. Ce modèle est réputé pour surpasser le GPT-4o d’OpenAI et le Gemini 1.5 de Google dans plusieurs domaines, incluant la traduction de code, la transcription de textes et l’optimisation de la rédaction d’emails. Malheureusement Claude n’est toujours pas disponible en France, à moins que vous n’ayez accès à un numéro de téléphone étranger.
🧠 Safe Superintelligence
Un mois après son départ d’OpenAI, l’ex co-fondateur Ilya Sutskever, a lancé une nouvelle entreprise. Ancien directeur de la recherche chez, Sutskever a créé SSI avec Daniel Gross, ancien partenaire chez Y Combinator, et Daniel Levy, ancien ingénieur chez OpenAI.
🚀TikTok Sympony
TikTok lance Symphony, un assistant IA destiné à simplifier la création de contenu pour les marketeurs et créateurs. Il propose des outils comme la génération de scripts, des suggestions d’idées créatives, et des diagnostics automatiques.
⏳ La sortie de GPT-5 est reporté à fin 2025, mais OpenAI promet des capacités de niveau doctorat
Le GPT-5 sera nettement plus intelligent que le GPT-4. Sa sortie est prévue pour dans au moins un an et demi. Ce modèle disposera de capacités avancées de mémoire et de raisonnement, ainsi que d’une intelligence de niveau doctorat dans des tâches spécifiques. Une courte vidéo de Mira Murati, directrice technique d’OpenAI, comparant les différents GPT est disponible dans l’article.
🌳Innovation IA pour le Climat
Geoffrey Hinton est le mentor de Ilya Sutskever et est plus largement connu comme le parrain de l’IA. 1 an après avoir quitté Google, il soutient désormais CuspAI, une startup qui vise à utiliser l’IA pour la capture du carbone. CuspAI a mis au point une approche innovante pour créer des matériaux via l’apprentissage profond afin de lutter contre le changement climatique.

O. Nous avons testé et recommandons ces outils IA

GPT-4 : environ 30% de cette édition est écrite en collaboration avec.

Midjourney : qu’avez-vous pensé des visuels de cette newsletter ?

Descript : l’outil qu’on utilise pour condenser 4-8 heures de rush sur 5 caméras et 3 micros différents en une vidéo digeste de 20 minutes.

Fireflies : délègue la prise de notes ce qui nous permet d’être entièrement présent en appel. Il y a énormément d’outils équivalents sur le marché, on en a testé une dizaine et c’est celui qu’on a préféré.

Devenir partenaire 🗣️ 
Un message que vous souhaiteriez partager à la communauté ? Soumettez-nous votre projet en cliquant sur ce lien. 

C’est la fin de cette newsletter.

Merci d’avoir lu cette douzième édition jusqu’au bout.

Si ce moment vous a plu, ou non, faites-le nous savoir en répondant à cet email.

Nous lirons personnellement chacun de vos retours et vous répondrons un à un.
Nous accordons beaucoup de valeur à ce que vous avez à nous dire.
C’était Rayan Dilavar, pour IA Mania

Se désinscrire | Mettre à jour profil  | 113 Cherry St #92768, Seattle, WA 98104-2205

1 – IA et fin du monde

a – Sam et Ilya, la nuit et le jour

On ne présente plus Sam Altman, mais on va quand même le faire.

Ilya Sutskever, est (aussi) un personnage (très) important.

b – Est-ce que l’IA va nous tuer ?

À l’intérieur de la boîte…

Le “reward hacking” ?!

La solution : le super alignement !

c – Qu’est-ce que ça veut dire pour nous ?

La sécurité, pas super pour les affaires.

La sécurité, pas si important ?

Domination du monde

La vérité

2 – Les actus d’IA les plus importantes cette semaine

​💰Le coût d’entraînement d’IA double tous les neuf mois​

​📊 Anthropic​

​🧠 Safe Superintelligence​

​🚀TikTok Sympony​

​⏳ La sortie de GPT-5 est reporté à fin 2025, mais OpenAI promet des capacités de niveau doctorat​

​🌳Innovation IA pour le Climat​

Devenir partenaire 🗣️

1 – IA Mania a besoin de vous 🫵

2 – Apple Intelligence est stupide

a – Qu’est-ce que Apple Intelligence ?

b – Quel est l’impact d’Apple Intelligence ?

c – Le problème avec Apple Intelligence

3 – Les actus d’IA les plus importantes cette semaine

​❌ McDonald’s va arrêter de tester l’IA pour prendre les commandes au drive​

​🥊 Nvidia révèle son modèle qui rivalise avec GPT-4​

​💭 Luma présente Dream Machine – un générateur de vidéos par IA que vous pouvez vraiment utiliser​

O. Les outils IA qu’on recommandera toujours

Devenir partenaire 🗣️

Top 7 des utilisations positives de l’IA

a – L’IA à la recherche d’une plante plus ancienne que les dinosaures

b – Prévenir les feux de brousse

c – Sauvegarder les récifs coralliens

d – Prédire les résultats des traitements contre le cancer

e – La route la plus panoramique

f – Aider les écoles à transporter leurs élèves

g – Décoder Alzheimer et l’autisme

Les actus d’IA les plus importantes cette semaine

🛸Prêt au décollage​

🫢Échec retentissant pour le AI Pin de Humane​

​🔪OpenAI s’associe avec Apple ?​

Outil IA

a. Les fonctionnalités de GPT-4o absentes de la vidéo de présentation d’OpenAI

1. Traitement vidéo

2. Compagnon de réunion

3. Amélioration du multilingue

b. Les outils qu’on recommandera toujours

🗣️Devenir partenaire

HashTags Populaires

💰Le coût d’entraînement d’IA double tous les neuf mois

📊 Anthropic

🧠 Safe Superintelligence

🚀TikTok Sympony

⏳ La sortie de GPT-5 est reporté à fin 2025, mais OpenAI promet des capacités de niveau doctorat

🌳Innovation IA pour le Climat

❌ McDonald’s va arrêter de tester l’IA pour prendre les commandes au drive

🥊 Nvidia révèle son modèle qui rivalise avec GPT-4

💭 Luma présente Dream Machine – un générateur de vidéos par IA que vous pouvez vraiment utiliser

🛸Prêt au décollage

🫢Échec retentissant pour le AI Pin de Humane

🔪OpenAI s’associe avec Apple ?