本地部署OmniParser微软最强开源屏幕解析模型！最强开源屏幕解析工具，面向纯视觉的GUI代理！实现用户界面截图解析为结构化数据！结合pyautogui实现自动点击指定元素！

[@MrBeaver-t3g]

感谢 UP，很棒的作品

[@__-kp6fm]

希望能出一期移动端，实现简单的判断点击，循环操作的DEMO。。。。期待

[@AIsuperdomain]

ok. 我尽快安排一期

[@qikami]

感谢UP主，希望UP主能否出一期通过webui或者其他任何调用api的方式，模仿claude project的方法视频。 现在使用claude project依赖比较重，但是每次都是用不了多久就到了limit，要终端等待好几个小时。 但是单纯看claude project，对于知识库文件的处理又好像并不是一般的RAG方法。

[@AIsuperdomain]

好的🤝🤝

[@马飞-l2e]

本地部署，有什么硬件要求吗？必须要很强的GPU吗？

[@vincentn1371]

👍👍👍

[@AIsuperdomain]

谢谢支持

[@gary007lang]

可以识别中文文字吗？

[@changchris5468]

可否再演示一集讓大模型自動判斷並使用OmniParser點擊螢幕，謝謝

[@AIsuperdomain]

好的，我尽快安排一期

[@ΥγρόΠυρ]

可以用来爬虫 让某些反爬手段失效

[@manyaccscom]

我看你的演示里面识别的还是比较慢的，这个是不是和你的电脑硬件配置有关系？

[@AIsuperdomain]

显卡越好识别肯定越快

[@ligbyte]

这个OminiParser获取屏幕截图2秒，标注5秒， 还得有各种点击操作耗时， 相对于YOLO的毫秒级识别，这个有什么存在意义？

[@AIsuperdomain]

需求不一样，场景不一样

[@ligbyte]

@@AIsuperdomain 那这个OminiParser 是不是每次操作都要先获取屏幕截图、再标注、最后再点击？ 每次操作都要这样来一下，太耗时了，还不如手动操作

[@xiaohujing4540]

yolo要先进行object分类训练，这个不需要，比如他可以识别看什么视频

[@MaxwellHay]

OmniParser使用了yolo

[@CliffZhu]

能帮忙点SKIP就够了。YT看来要取消SKIP了。

[@AIsuperdomain]

好主意

[@fengyuwen3824]

跳过手机广告，

[@AIsuperdomain]

👍👍👍

[@weigangfu8826]

如果速度达不到还不如手点

[@AIsuperdomain]

那不一样，如果那些一个工作室几千台手机的，肯定要用这种

[@ErikYiLoo]

本地尝试了一下，对中文内容识别很差

[@jim1977]

我猜，omniparser的准确率达不到100%

[@AIsuperdomain]

肯定达不到100%