OmniParser
AIエージェント画面理解でGUI操作エージェントを実現するMicrosoftのツール
OmniParserは、Microsoftが開発した、スクリーンショットから画面上のUI要素を認識・構造化するスクリーンパーシングツールです。ボタンやアイコンなどの操作可能な領域を検出し、それぞれの機能を説明文付きで抽出することで、GPT-4Vのような視覚言語モデルがGUIを正確に操作できるようにします。HTMLやアクセシビリティツリーに依存せず、純粋に画面の見た目だけから解析できるため、デスクトップアプリを含むあらゆる画面に適用できるのが強みです。画面操作を自動化するGUIエージェントやRPAの高度化に取り組む研究者・開発者に向いています。Computer Use系エージェントの基盤技術として注目されています。
コメント（0）
コメントするにはログインしてください。
同じカテゴリのOSS
OpenClaw
The AI that really does things. Any OS. Any Platform. The lobster way. 🦞
superpowers
An agentic skills framework & software development methodology that works.
skills
Skills for Real Engineers. Straight from my .agents directory.
DeepSeek Harness
DeepSeek Harness: Everything is a Plugin.
AutoGPT
自律型AIエージェントブームの火付け役
agency-agents
A complete AI agency at your fingertips - From frontend wizards to Reddit community ninjas, from whimsy injectors to reality checkers. Each agent is a specialized expert with personality, processes, and proven deliverables.