Pour plusieurs de ses produits, Apple annonce une série de nouvelles fonctionnalités d’accessibilité. Parmi celles-ci, les sous-titres instantanés Live Captions qui sont notamment déjà connus sur des smartphones Android (Android 10 ou plus) dont les Pixel de Google.
Sur iPhone, iPad et ordinateur Mac, le contenu audio pourra avoir droit à une conversion en texte avec un affichage en surimpression des sous-titres pour une lecture voulue en quasi temps réel. Apple donne l’exemple d’un appel FaceTime, d’une application de vidéoconférence ou de média social, pour la lecture d’une vidéo en streaming.
Les utilisateurs seront en mesure d’ajuster la taille de l’affichage des sous-titres à l’écran. Si une telle fonctionnalité répond d’abord à un souci d’accessibilité, elle pourra être pertinente au-delà pour la transcription automatique de conversations notamment.
Quand les sous-titres instantanés seront utilisés pour des appels sur ordinateur Mac, Apple indique que les utilisateurs pourront taper une réponse avec le clavier et la faire lire à voix haute en temps réel pour les autres participants de la conversation.
Les Live Captions d’Apple avec des conditions
Comme c’est le cas pour Android, les Live Captions seront générés sur l’appareil de l’utilisateur. Il n’y aura donc pas de traitement sur des serveurs d’Apple ou autres. Toutefois, il faudra un iPhone 11 ou plus, des modèles d’iPad avec puce A12 Bionic ou ultérieure. Pour le Mac, ce sera avec puce Apple Silicon.
Dans un premier temps, les sous-titres instantanés d’Apple seront disponibles en bêta et uniquement en anglais. Ils feront leur début plus tard dans le courant de cette année.
Apple va également proposer Door Detection pour l’iPhone Pro et iPad Pro avec capteur LiDAR et un traitement de machine learning toujours sur l’appareil. L’outil permettra de localiser des portes dans un environnement inconnu. Avec aide vocale, Door Detection indiquera si une porte est ouverte ou fermée, la manière de l’ouvrir et lira d’éventuelles inscriptions sur la porte.
Avec Apple Watch Mirroring, ce sera en outre la possibilité de contrôler la montre connectée Apple Watch à l’aide des fonctionnalités d’assistance sur l’iPhone (Voice Control, Switch Control…). Apple souligne un intérêt pour l’accès aux outils de santé de l’Apple Watch.