摘要：
一、基础 1、说明：创建数据库CREATE DATABASE database-name 2、说明：删除数据库drop database dbname 3、说明：备份sql server 创建 备份数据的 deviceUSE masterEXEC sp_addumpdevice 'disk', 't 阅读全文
摘要：
nohup command & nohup scrapy crawl eeo > /home/wangliang/eeo.log & nohou 需要后台的命令 打印的日志位置 文件可以随便写 & 使用 jobs -l 可以查看当前正在寻的程序 使用 ps -ef | grep scrpay 可以查 阅读全文
摘要：
第一个 进入 crontab 会选择编译器 在开发中一般写成脚本形式运行 2>&1 表示把错误也输入到 run.log 中去 图片上面的两个2>1 是不一样的 对应的不同命令 /bin/sh 表现下面命令用 /bin/sh 执行 类似于python 代码写的 /bin/sh/python3 cd ` 阅读全文
摘要：
一、es的使用 1、检索文档： 想要从Elasticsearch中获取文档，我们使用同样的 _index 、 _type 、 _id ，但是HTTP方法改为 GET ： GET /{index}/{type}/{id}?pretty 这里pretty的作用：在任意的查询字符串中增加 pretty 参 阅读全文
摘要：
一、es中文档的元数据包括： 1、_index: 索引（index）类似于关系型数据库里的数据库（database），事实上，我们的数据被存储和索引在分片（shards）中，索引知识把一个或多个分片分组在一起的逻辑空间， 索引名字必须全部小写，不能以下划线开头，不能包含逗号。 2、_type: 类型 阅读全文
摘要：
1、为null或者不存在 db.test.find({"test":null}); 2、不为null并且存在记录 db.test.find({"test":{"$ne":null}}); db.test.find({"test":{"$ne":null, $exists:true}}); 3.存在 阅读全文
摘要：
import pymongo import math from elasticsearch import Elasticsearch from elasticsearch import helpers import time HOST = ['ip:端口'] es = Elasticsearch(H 阅读全文
摘要：
split 对列表进行切割，然后生产新的列表 from pyspark.sql.functions import split# 对 key列按照 0-9之间的数字进行风格 重新命名为 s df.select(split(df.key, '[0-9]+').alias('s'))df1 = df.se 阅读全文
摘要：
from kafka import KafkaConsumer,TopicPartition import json scrapy_kafka_hosts = ["ip:端口", "ip:端口"] topic = 'wangliang_test' consumer = KafkaConsumer(b 阅读全文
摘要：
from kafka import KafkaProducer import json scrapy_kafka_hosts = ["ip1:端口", "ip2:端口"] topic = 'wangliang_test' # 主题 producer = KafkaProducer(bootstrap 阅读全文