2017 年 12月 3 日随笔档案 - papering

2017年12月3日

摘要： http://ltp.ai/docs/ltptest.html 一般来讲，基于统计机器学习方法构建的自然语言处理工具通常包括两部分，即：算法逻辑以及模型。模型从数据中学习而得，通常保存在文件中以持久化；而算法逻辑则与程序对应。阅读全文

posted @ 2017-12-03 23:55 papering 阅读(204) 评论(0) 推荐(0) 编辑

语义依存

摘要： http://ltp.ai/demo.html 阅读全文

posted @ 2017-12-03 23:45 papering 阅读(181) 评论(0) 推荐(0) 编辑

知识图谱

摘要：知识图谱阅读全文

posted @ 2017-12-03 23:30 papering 阅读(128) 评论(0) 推荐(0) 编辑

pyspark mongodb yarn

摘要： http://192.168.2.51:4040/executors/ http://192.168.2.51:4040/executors/ ssh://root@192.168.2.51:22/usr/bin/python -u /root/.pycharm_helpers/pydev/pyde 阅读全文

posted @ 2017-12-03 21:50 papering 阅读(431) 评论(0) 推荐(0) 编辑

Marking as slave lost.

摘要： Spark on Yarn提交任务时报ClosedChannelException解决方案_服务器应用_Linux公社-Linux系统门户网站 http://www.linuxidc.com/Linux/2017-01/140068.htm <property> <name>yarn.nodeman 阅读全文

posted @ 2017-12-03 21:37 papering 阅读(1142) 评论(0) 推荐(0) 编辑

hadoop yarn namenode datanoe 启动异常问题解决分析日志

摘要： cat logs/hadoop-root-datanode-hadoop1.log ************************************************************/2017-12-03 21:05:25,361 INFO org.apache.hadoop. 阅读全文

posted @ 2017-12-03 21:11 papering 阅读(404) 评论(0) 推荐(0) 编辑

webdriver.close() quit() 批量kill进程内存耗尽的解决办法

摘要：问题现象： shell窗口卡，换IP的登录窗，不开；猜测：内存耗尽 spider_url,py 修改爬虫代码: [root@hadoop1 ~]# free -g total used free shared buff/cache availableMem: 15 14 0 0 0 0Swap: 阅读全文

posted @ 2017-12-03 18:55 papering 阅读(936) 评论(0) 推荐(0) 编辑