Récemment, Doubao Work a amélioré ses capacités de manipulation de l'ordinateur, avec une précision et une vitesse de clic à l'écran accrues : plus précis, plus rapide. Il suffit d'exprimer directement dans la conversation des besoins liés à la manipulation de l'ordinateur et, après autorisation de l'utilisateur, Doubao Work peut automatiquement consulter l'écran de l'ordinateur et simuler des opérations de souris et de clavier humaines pour manipuler les applications correspondantes. Parallèlement, sur la base des fonctionnalités existantes de manipulation multi-applications et d'enregistrement des opérations du navigateur sous forme de compétences, les utilisateurs peuvent désormais enregistrer des opérations sur l'ordinateur et sauvegarder le processus de démonstration sous forme de compétence réutilisable ; par ailleurs, les tâches nécessitant la manipulation de l'ordinateur peuvent se poursuivre après le verrouillage de l'écran du Mac, et les utilisateurs peuvent également lancer des tâches et consulter les résultats depuis leur téléphone.
Dans l'interface de conversation, sous « Plus de compétences », trouvez « Enregistrer les opérations pour générer une compétence » ; après avoir effectué l'autorisation comme indiqué, l'utilisateur peut utiliser son ordinateur comme d'habitude et ajouter des exigences par la voix. Par exemple, lors du rangement de fichiers, il peut préciser « range uniquement ce dossier, nomme les fichiers par date », en indiquant clairement à la fois le périmètre des opérations et les règles de nommage. Pendant l'enregistrement, Doubao Work enregistre les clics de souris, le texte saisi et le contenu des fenêtres ; l'utilisateur peut annuler à tout moment ; lors de l'utilisation, il faut éviter d'afficher des informations sensibles telles que les mots de passe de compte.
Une fois l'enregistrement terminé, Doubao Work organise le flux d'opérations et les explications en une compétence personnelle. Lors de la prochaine exécution d'une tâche similaire, il suffit de sélectionner la compétence correspondante, puis d'indiquer l'objet à traiter et les exigences, ce qui évite de répéter les explications des étapes d'opération. Ainsi, les opérations en plusieurs étapes, les conditions ponctuelles et les habitudes de traitement peuvent être transformées d'une seule démonstration en une compétence réutilisable, réduisant les explications répétées pour les tâches de même type.
Concernant l'exécution des tâches, l'utilisateur peut accéder à « Réglages → Paramètres du mode de travail des tâches » et activer « Autoriser Doubao à travailler lors du verrouillage de l'écran ». Une fois cette fonction activée et autorisée par l'utilisateur, Doubao Work peut continuer à exécuter des tâches nécessitant des actions sur l'ordinateur même lorsque le Mac est verrouillé. Lorsque l'utilisateur s'éloigne de l'ordinateur, il peut également envoyer des tâches à ce Mac verrouillé depuis son téléphone et consulter les résultats renvoyés sur son téléphone ; de retour devant l'ordinateur, il peut reprendre le contrôle à tout moment après le déverrouillage. Pour les tâches nécessitant une exécution continue et qu'il n'est pas pratique de surveiller constamment devant l'ordinateur, cette capacité offre un mode de livraison plus flexible.
Après le verrouillage de l'écran du Mac, Doubao peut continuer à exécuter des tâches nécessitant de manipuler l'ordinateur (illustration de l'interface).
Pour l'utilisation, le Mac doit rester allumé et connecté à Internet, le client Doubao doit fonctionner en continu et l'appareil doit rester éveillé.
À mesure que les agents IA s'étendent aux scénarios de travail réels, le Computer Use devient une capacité essentielle leur permettant de manipuler des logiciels et d'exécuter des tâches. Cette mise à niveau de Doubao Work permet aux utilisateurs de sauvegarder les méthodes d'opération qu'ils maîtrisent sous forme de compétences réutilisables, et prend en charge la poursuite des tâches après le verrouillage de l'écran du Mac, ce qui aide à réduire la charge liée aux instructions répétées et à la nécessité de rester devant l'ordinateur en permanence. Pour les utilisateurs ordinaires, cela signifie avoir la possibilité de confier une partie des opérations répétitives à l'IA, et de consacrer plus de temps et d'énergie au jugement, à la création et aux tâches nécessitant de l'expérience, permettant ainsi à la valeur de l'IA en matière de libération de la productivité de s'inscrire progressivement dans les flux de travail quotidiens.
Leifeng Wang (compte officiel : Leifeng Wang) Leifeng Wang