呓语i - 博客园

2020年5月10日

摘要： VIRT：虚拟内存 1. 进程需要的虚拟内存大小，包括使用的库，代码，数据等 2. 如果进程申请100m的内存，但实际只用了10m，那么他会有100m，而不是实际的使用量。 RES：常驻内存 1. 进程当前使用的内存大小，不包括swap out 2. 包含其他进程的共享 3. 如果进程申请100m的阅读全文

posted @ 2020-05-10 19:55 呓语i 阅读(2703) 评论(0) 推荐(0) 编辑

mongodb 安装

摘要：官方文档下载地址 mongodb.conf 配置 # 数据存储路径 dbpath=/opt/software/mongodb/data # 日志 logpath=/opt/software/mongodb/log/mongodb.log logappend=true # 端口 port=27017 阅读全文

posted @ 2020-05-10 00:41 呓语i 阅读(79) 评论(0) 推荐(0) 编辑

mysql 安装

摘要： "下载文件" 解压文件编辑配置文件 my.ini 初始化启动重置mysql root密码阅读全文

posted @ 2020-05-10 00:33 呓语i 阅读(109) 评论(0) 推荐(0) 编辑

mongodb 导入导出

摘要：数据导入导出数据库的全部表 # 导出 mongodump -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 -o 文件存在路径 # 导入 mongorestore -h IP --port 端口 -u 用户名 -p 密码 -d 数据库文件存在路径 mongorestore 阅读全文

posted @ 2020-05-10 00:29 呓语i 阅读(117) 评论(0) 推荐(0) 编辑

2020年5月8日

tesseract Centos7 安装

摘要： "正规网址" 1. 升级下基础包 2. 这个过程最好用root安装，或者使用sudo命令 3. 安装tesseract 4. 安装模型文件 5. 安装ghostpdl 阅读全文

posted @ 2020-05-08 21:54 呓语i 阅读(466) 评论(0) 推荐(0) 编辑

爬虫 selenium 基础操作

摘要： Driver下载地址 "chromedriver" "selenium" Driver的常用的API 基本 Select Cookie 页面等待显式等待显式等待指定某个条件，设置等待时间，如果超出这个时间没有找到该元素，便会抛出异常隐式等待隐式等待目的是让WebDriver在查找某个或某类阅读全文

posted @ 2020-05-08 21:36 呓语i 阅读(149) 评论(0) 推荐(0) 编辑

2020年5月7日

爬虫 websocket

摘要：基础使用 "查看网站" 阅读全文

posted @ 2020-05-07 23:39 呓语i 阅读(354) 评论(0) 推荐(0) 编辑

爬虫 xpath

摘要： 1、匹配某节点下的所有获取文档中所有匹配的节点，获取当前节点，有的时候我们需要获取当前节点下的所有节点，一定要结合使用，否则都会获取整个文档的匹配结果. 2、匹配包含某属性的所有的属性值 3、选取若干路径这个符号用于在一个xpath中写多个表达式用，用分开，每个表达式互不干扰 4、 A 阅读全文

posted @ 2020-05-07 23:27 呓语i 阅读(132) 评论(0) 推荐(0) 编辑

Mongo 基础命令

摘要：插入 db.collection.insert({"name": "iFan"}) # 批量插入 db.collection.insertMany([ {"name": "iFan2"}, {"name": "iFan1"} ]) mongodb能接受的最大消息长度为48M，如果当前的数据长度超过了阅读全文

posted @ 2020-05-07 23:19 呓语i 阅读(123) 评论(0) 推荐(0) 编辑

2020年5月6日

大数据 Spark 连接外部资源

摘要： Spark中使用外部连接获取配置信息 Spark Streaming在启动的时候只能使用一个数据源的数据，但是我们的配置是随着业务进行改变的，所以需要动态的进行业务配置的获取。连接redis 使用单例模式，在Driver上定义，在分区上遍历，JedisConnectionPool是在Master上阅读全文

posted @ 2020-05-06 22:47 呓语i 阅读(185) 评论(0) 推荐(0) 编辑

呓语

公告