Представленная Microsoft система Fara-7B — это небольшая, но мощная платформа искусственного интеллекта, созданная для автоматизации пользовательских интерфейсов исключительно на основе визуального ввода. Модель, основанная на Qwen2.5-VL-7B от Alibaba, обрабатывает данные локально, что повышает конфиденциальность и снижает задержки. автоматизации домашнего ИИ

Вместо традиционного анализа кода, Fara-7B работает с изображениями интерфейса, используя метод «наблюдай-думай-действуй», что позволяет ей эффективно прогнозировать клики и вводить текст. Для принятия решений используются последние три скриншота, история действий и пользовательский ввод.

Microsoft преодолела проблему нехватки данных, применив синтетический генератор данных на платформе Magentic-One, собрав около 145 000 успешных сценариев для обучения. В тестах Fara-7B показала 73,5% успешных результатов, превосходя другие модели, включая коммерческий GPT-4o. Эффективность выполнения задач составляет 16 шагов в среднем, что значительно меньше, чем у конкурентов.