代码
git clone https://github.com/castorini/pyserini.git --recurse-submodules
pyserini/tools为submodules anserini-tools
安装
https://github.com/castorini/pyserini/blob/master/docs/installation.md
pyserini依赖java环境,可用conda直接安装。安装后,java版本查看命令 "java --version"
如果只是利用开源索引做测试,使用 PyPI Installation即可。
如果自行开发,需要Development Installation。最后一步将fatjar包copy到
pyserini/resources/jars/中,fatjar包有两种获取方式,
- 在 anserini 项目中编译“
mvn clean package
”,保存路径为 anserini/target/anserini-X.Y.Z-SNAPSHOT-fatjar.jar。https://github.com/castorini/anserini?tab=readme-ov-file#-installation
- 直接下载 https://repo1.maven.org/maven2/io/anserini/anserini/0.38.0/anserini-0.38.0-fatjar.jar。 https://github.com/castorini/anserini/blob/master/docs/fatjar-regressions/fatjar-regressions-v0.38.0.md
使用
https://github.com/castorini/pyserini/blob/master/docs/experiments-msmarco-passage.md
默认下载保存路径 ~/.cache/pyserini/
指定下载保存路径 export PYSERINI_CACHE=/path/to/cache