摘要:
任何Spark程序员都是从SparkContext开始的,SparkContext的初始化需要一个SparkConf对象,SparkConf对象中包含了Spark集群配置的各种参数。 SparkConf conf = new SparkConf().setMaster("local").setApp 阅读全文
摘要:
# TCP通信设计 # 服务器端 # coding=utf-8from socket import *# 服务器端# 创建服务器端套接字对象serverSocket = socket(AF_INET,SOCK_STREAM)# 绑定端口serverSocket.bind(("", 5050))# 监 阅读全文
摘要:
IP 地址: 用来标记网络中的一台计算机,即通信实体的地址 网络号+主机号 A-E五类地址,常用C类 目前主流的IP地址是IPV4,IPV6 IP地址实际上是一个32位的整数,以字符串表示的IP地址实际上是把32位整数按8位分组后的数字表示 127.0.0.1 本机地址 192.168.0.0端口: 阅读全文
摘要:
# 代码 # coding=utf-8"""通过使用互斥锁,锁定全局变量,防止数据异常"""import threadingnum = 0# 创建互斥锁lock = threading.Lock()def testOne(): global num for i in range(100000): # 阅读全文
摘要:
# 在学习LXML库的时候遇到了一个问题lxml.etree.XMLSyntaxError: Opening and ending tag mismatch: meta line 4 and head, line 6, column 8 百度发现这是由于自己html代码书写不规范,不符合xml解析器 阅读全文
摘要:
# coding=utf-8"""自定义一个类,继承Process类,同时重写run()方法"""# 导入模块from multiprocessing import Processimport time# 创建类class ClockProcess(Process): # 重写初始化方法 def __init__(self, interval): # 初始化父类方法 Process.__init_ 阅读全文
摘要:
# 爬取糗事百科项目 由于该网站正在维护 我只是按照已经能够爬取出来的html代码手动观察修改正则表达式的内容 # 代码 # 函数解析 re.findall(pattern, string, flags=0) 通过使用该函数可以匹配所有符合查询规律的内容 通过查询API文档可以发现 pattern是 阅读全文
摘要:
# coding=utf-8"""1.导入模块sqlite32.创建连接 sqlite3.connect()3.创建游标对象4.编写创建表的sql语句5.执行sql6.关闭连接"""import sqlite3# 创建连接con = sqlite3.connect("E:/sqlite3Demo/d 阅读全文
摘要:
在python中声明全局变量可以使用关键字global,那么如何声明方法级之间的变量就需要用到nonlocal 阅读全文
摘要:
random.seed() 随机数种子 通过借助seed函数 我们可以每次生成相同的随机数 # 代码 我们可以看到通过随机数种子seed函数的约束 我们每一次在相同种子约束下生成的随机数都是相同的 阅读全文