Windows运行OmniParseV2踩坑记录

本文以知乎博主的AI超元域为基础，目的是成功运行gradio_demo.py
https://zhuanlan.zhihu.com/p/24590537352

环境：
系统：Windows11
python版本：3.9.19
torch版本：2.0.1+cu118
gradio版本：4.44.1

问题1

Gradio failed: login to server failed: dial tcp 44.237.78.176:7000: i/o timeout

如果是尝试使用它的网页demo，运行gradio_demo.py后，应该用http://localhost:7860进入

问题2

RuntimeError: "erfinv_vml_cpu" not implemented for 'Half'

解决方式：
utils.py中第67行

model = AutoModelForCausalLM.from_pretrained(model_name_or_path, torch_dtype=torch.float16, trust_remote_code=True).to(device)

改为

model = AutoModelForCausalLM.from_pretrained(model_name_or_path, torch_dtype=torch.float32, trust_remote_code=True).to(device).half()

问题3

AttributeError: pydantic_core_schema

解决方式：
更新gradio库pip install --upgrade gradio
亲测4.44.1版本没问题

问题4

Attention mask should be of size (24, 1, 10, 10), but is torch.Size([24, 1, 5, 5])

看看是否有做改文件路径的操作：
weights/icon_caption改为weights/icon_caption_florence

注意：不能试图修改gradio_demo.py文件中67行中的model_name_or_path参数为"weights/icon_caption"达到同样的结果，我就是这么干然后报了这个错误，需要文件路径和model_name_or_path路径参数都为weights/icon_caption_florence