摘要: 1.主要JapaneseTokenizer https://pypi.org/project/JapaneseTokenizer/ 安装: pip install JapaneseTokenizer Supported Tokenizers 1.1 Mecab 安装请参考:https://www.d 阅读全文
posted @ 2021-02-21 10:19 lingwang3 阅读(299) 评论(0) 推荐(0)
摘要: 1.langid 2.langdetect 3.fasttext 本文主要讲fasttext 下载它的model,当然可以自己训练 import fasttext fasttext_model = fasttext.load_model('xx/bin/lid.bin') labels, score 阅读全文
posted @ 2021-02-04 16:35 lingwang3 阅读(1864) 评论(0) 推荐(0)
摘要: 1.在合适的目录下载安装包 wget -c https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh 2.安装 bash Anaconda3-2020.02-Linux-x86_64.sh 3.修改配置 vi ~/.bas 阅读全文
posted @ 2021-02-04 10:34 lingwang3 阅读(173) 评论(0) 推荐(0)
摘要: 最近项目中处理分句 1.中文一般使用ltp 2.欧洲语系一般使用segtok 3.本文重点讲解Stanford CoreNLP 3.1 优点如下: 功能足够多,一站式解决所有主流需求; 操作足够方便,放到 Python 里基本上就是一两行代码; 语言支持广泛,目前支持阿拉伯语,中文,英文,法语,德语 阅读全文
posted @ 2021-02-03 13:46 lingwang3 阅读(235) 评论(0) 推荐(0)
摘要: 1.根据安装提示,添加环境变量 添加方式为在用户目录下(不是anaconda的安装目录),输入(根据你的安装提示改成你的路径!) echo 'export PATH=...../anaconda3/bin:$PATH' >> ~/.bashrc 2.最后使路径生效,同样在用户目录下,输入: sour 阅读全文
posted @ 2021-01-21 10:52 lingwang3 阅读(948) 评论(0) 推荐(0)
摘要: 安装 V20Ray 主地址root#:: bash <(curl -s -L https://git.io/v20ray.sh) 备用地址root#:bash <(curl -s -L https://www.zhuguodong.com/xiazai/v20ray.sh) 如果提示 curl: c 阅读全文
posted @ 2021-01-14 11:26 lingwang3 阅读(652) 评论(0) 推荐(0)
摘要: 1.最近要下载https://ict.fbk.eu/上语料,每个语料都是60G压缩包以上 2.正常浏览器下载,少则下载3G,多则25G左右,就失效了 3.调研谷歌云端加星-副本,因费用问题,没有尝试 4.利用gdown库去下载,经常提示连接数众多,24小时后再试 pip install gdown 阅读全文
posted @ 2020-12-31 16:50 lingwang3 阅读(1854) 评论(0) 推荐(0)
摘要: 查看 python3版本 python3 --version 安装python3.7 sudo apt-get install python3.7 报错如下: Reading package lists... Done Building dependency tree Reading state i 阅读全文
posted @ 2020-12-24 17:22 lingwang3 阅读(1309) 评论(0) 推荐(0)
摘要: 1.运行结束自动关闭运行窗口 @echo off D: cd D:\baiduTrans start python baidufanyi.py 2.运行调出cmd窗口 @echo off cmd /k "D: ;cd D:\交付&&python baidufanyi.py zh zh" exit 阅读全文
posted @ 2020-12-23 17:15 lingwang3 阅读(99) 评论(0) 推荐(0)
摘要: ftp相关的包不需要安装,python自带 # -*- coding:utf-8 -*- from ftplib import FTP def upload(f, remote_path, local_path): fp = open(local_path, "rb") buf_size = 102 阅读全文
posted @ 2020-12-23 17:10 lingwang3 阅读(291) 评论(0) 推荐(0)