Apple Intelligence: on a testé la future intelligence artificielle de l'iPhone
Dévoilée lors d'une conférence dédiée à iOS 18, Apple Intelligence veut redessiner les contours de l’utilisation de l'iPhone et du Mac. Nous avons pu voir de plus près quelques-unes des fonctions qui doivent nous simplifier la vie.
C’est le futur, mais pas pour tout de suite. Apple Intelligence a été dévoilé par Tim Cook et les siens, lundi lors de la keynote de la conférence WWDC des développeurs à l’Apple Park (Californie), avec l’objectif d’être un incontournable des usages, “facile, puissant, personnel et sécurisé”.
Tech&Co a pu voir d’un peu plus près l’application d’Apple Intelligence pour de multiples services et outils. Des mails à la retouche photo, en passant par l’utilisation de ChatGPT... Tour d’horizon de ce que vous pourrez faire grâce à l'IA d'Apple sur iPhone, iPad et Mac.
Aide à l’écriture
L’un des apports de l’IA pour Apple va passer par le traitement des textes. On sait déjà qu’il sera possible à terme de retranscrire des enregistrements audio ou des appels, traduire également. Mais Apple Intelligence ne se réduit pas à ça. Les modèles de langage embarqués vont être capables de retravailler vos textes sous de multiples aspects.
Que ce soit dans Mail, Keynotes, Notes, Freeform et même d’autres applications tierces ou pages web nécessitant d’écrire, un texte sélectionné pourra être corrigé, se voir proposer d’autres suggestions de style pour correspondre à votre destinataire (professionnel, amical, soutenu, etc.).
Après avoir sélectionné un texte, un bouton apparaît avec un menu contextualisé et de multiples options de corrections (mots manquants, fautes, etc.), améliorations et retouches de texte. Nous avons testé une lettre de motivation à envoyer en pouvant opter pour la réécriture dans un style de langage plus adapté à un milieu professionnel. L’IA pourra aussi résumer des points pris en note pour les transformer en texte intelligible, en tableau ou même liste.
À noter que cela pourra fonctionner en mode hors-ligne afin d’être traité localement sur l’appareil.
La retouche photo
Sur ce point, Apple rattrape une partie de son retard sur Google Photos en permettant une retouche photo à l’IA. L’équivalent de la Gomme Magique des Pixel se nomme Clean Up et va identifier les éléments disgracieux sur une photo afin de les éliminer. Apple Intelligence est capable de comprendre le sujet d’une photo (selfie, monument, groupe de personnes, etc.) et de proposer la suppression d’un objet en arrière-plan. Si l’IA n’identifie pas un véritable sujet central, il sera possible d’entourer du doigt ou de l’Apple Pencil l’élément à éliminer.
Apple Intelligence va aussi venir en aide à ceux qui veulent créer des films souvenirs à partir d’une sélection de photos. La fonction Creative Memory sélectionnera vos meilleurs selfies, vos photos de vacances, et mettra l'accent sur certaines personnes identifiées sur les images, selon vos demandes.
Le rendu sera assez similaire à ce qui existe déjà avec Souvenirs actuellement, mais de manière plus personnalisée. A la différence de Souvenirs, Creative Memory ne peut pas être édité dans un premier temps. Il faudra recommencer la demande en éliminant ou ajoutant des infos.
Siri plus efficace
L’assistant vocal maison devrait prendre du galon. Luc Julia, son concepteur avant que Siri soit racheté par Apple, s’est enthousiasmé pour la nouvelle version dopée à l’IA et il y a de quoi. Dans la démo à laquelle nous avons assisté, Siri a quelque peu perdu sa voix et se contente de répondre par écrit. Mais elle le fait bien mieux et de manière plus naturelle.
Car avec l’aide d’Apple Intelligence, Siri est désormais capable de suivre une discussion. Vous lui posez une première question, même en corrigeant verbalement votre phrase dans la foulée. Elle comprend et agit, comme en témoigne son animation lumineuse autour de l'iPhone qui n'est pas sans rappeler la barre bleue d'Amazon Alexa. Siri peut ainsi régler une alarme, ajuster vos agendas, répondre à vos questions sur des infos sportives, de programmes TV, etc. Pas besoin de parler à Siri: il sera possible d’utiliser le clavier pour taper ses commandes en activant le tout d’une double tape sur la barre de bas d’écran.
Apple souligne que Siri peut désormais répondre à des milliers de questions sur les paramètres et fonctions des iPhone, iPad ou Mac. En lui posant une question sur la façon d’activer ou désactiver une fonction, la réponse apparaîtra sous forme de marche à suivre point par point. Siri pourra être utilisée dans des applications tierces avec la même efficacité et rapidité. Sous peu, la fonction Awareness sera également déployée. Elle permet à Siri de contextualiser ses réponses et/ou questions en fonction de ce qui est affiché sur votre écran ou selon vos dernières actions réalisées.
ChatGPT en soutien
C’est le nouvel allié de l’IA made in Apple. Mais ce n’est pas sa fondation, comme a tenu à le rappeler le fabricant américain. ChatGPT n’est qu’une brique ajoutée au tout, si Siri ne se montre pas assez performant pour répondre à une question. ChatGPT-4o est ainsi implémenté dans Apple Intelligence pour gérer les demandes plus exigentes.
Aucune donnée n’est par essence prise en compte par ChatGPT lors du transfert de la demande. Celle-ci est envoyée à OpenAI, mais avec le consentement validé de l’utilisateur. Un message apparaît en ce sens à l’écran avant de transmettre la demande au robot conversationnel star.
Par exemple, en prenant une photo d’un aliment et en demandant à Siri une idée de recette à partir de celui-ci, conscient de ses limites, l’assistant vocal proposera de demander à ChatGPT après accord obtenu de l’utilisateur. Et ce dernier fournira une réponse complète à l’écran. Notons qu'il n'est pas activé par défaut.
Cela peut aussi fonctionner pour un document PDF à résumer, une synthèse étudiante à produire. Si vous avez déjà un compte chez OpenAI, il peut être lié, sinon l’usage de l’IA générative est gratuit. Lorsque l’appareil Apple est hors ligne, les fonctions ChatGPT sont inactives.
La créativité en marche
Comme ses principaux concurrents, Apple Intelligence veut être de toutes les aventures. Ecriture, synthèse, photos, mais aussi créativité. Et cela passe par l’image. L’IA va permettre plusieurs utilisations amusantes comme Genmoji, une version améliorée des avancées de Memoji (création d’avatars) et animoji (visages d’animaux sur le vôtre en Facetime), avec un peu d’emoji dans vos conversations.
Depuis le menu emoji, il suffit de décrire son idée en la tapant dans la barre pour générer un Genmoji selon son inspiration et le partager dans la conversation, l’utiliser comme autocollant (il pourra être enregistré par votre destinataire) ou en tapback - les réactions à des messages reçus qui peuvent désormais inclure n’importe quel emoticon.
Autre nouveauté pour les créatifs: Image Playground. Cette nouvelle application permet de créer des dessins, illustrations ou animations à partir d’éléments de différentes catégories (plusieurs résultats envoyés). Cela peut être enrichi par du texte tapé pour complémenter la recherche, moduler, ou bien dicté à Siri. Une fonction analogue à ce que proposent d'autres IA, comme Dall-E ou Midjourney.
Si vous le souhaitez, vous pouvez faire référence à l’un de vos contacts à partir de son avatar ou de photos de votre bibliothèque. Les images créées pourront être utilisées dans Notes, Messages, Keynotes, Freeform, et dans toutes applications tierces désireuses de l’implanter. La création d’image peut aussi passer par des dessins. Si vous en faites un à la main dans Notes ou Freeform, vous pouvez activer le menu contextuel du dessin pour demander une création par Image Playground une fois le dessin fait à la main a été identifié.
Nos premiers tests d'Apple Intelligence illustrent la simplicité d'usage que recherche le géant californien. Fidèle à ses habitudes, il livre une première approche fluide et facile à prendre en main, même pour les moins "geeks".
Il faudra attendre le déploiement de la bêta à la rentrée 2024 sur iOS 18 (iPhone 15 Pro et suivants), iPadOS 18 et MacOS Sequoia (pour les appareils sous puce M1 et suivantes) pour se faire une idée plus précise. Mais en sachant néanmoins que plusieurs fonctions n'arriveront pas dans l'immédiat, et pas en français.