摘要：
实例需求：运用python语言爬取http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html这个开奖网站所有的信息，并且保存为txt文件和excel文件。 实例环境：python3.7 BeautifulSoup库、xlwt库(需手动安装) urllib库、 阅读全文
摘要：
实例代码： 实例结果： 阅读全文
摘要：
这次的代码就是一个日志记录模块，代码很容易懂，注释很详细，也不需要安装什么库。提供的功能是日志可以显示在屏幕上并且保存在日志文件中。调用的方式也很简单，测试代码里面有。 源代码： 测试结果： 阅读全文
摘要：
一、正则表达式 1. 正则表达式是字符串处理的有力工具和技术。 2. 正则表达式使用某种预定义的模式去匹配一类具有共同特征的字符串，主要用于处理字符串，可以快速、准确地完成复杂的查找、替换等处理要求，在文本编辑与处理、网页爬虫之类的场合中有重要应用。 3. Python中，re模块提供了正则表达式操 阅读全文
摘要：
实例需求：运用python语言爬取http://www.eastmountyxz.com/个人博客的基本信息，包括网页标题，网页所有图片的url，网页文章的url、标题以及摘要。 实例环境：python3.7 requests库(内置的python库，无需手动安装) re库(内置的python库，无 阅读全文
摘要：
自从开始学习spark计算框架以来，我们老师教的是local模式下用eclipse运行spark程序，然后我在运行spark程序时，发现控制台的日志颜色总是显示为黑色，哇，作为程序猿总有一种强迫症，发现老师软件下的日志是红色的而我软件下的日志是黑色的。这种情况下就不能安心写spark代码。于是历时一 阅读全文
摘要：
实例需求：运用python语言在http://www.ip138.com/post/网站爬取全国各个省市县级城市的邮政编码，并且保存在excel文件中 实例环境：python3.7 requests库(内置的python库，无需手动安装) xlwt库(需要自己手动安装) 实例网站： 第一步，在htt 阅读全文
摘要：
1. 字典 字典是无序、可变序列。 定义字典时，每个元素的键和值用冒号分隔，元素之间用逗号分隔，所有的元素放在一对大括号“｛｝”中。 字典中的键可以为任意不可变数据，比如整数、实数、复数、字符串、元组等等。 globals()返回包含当前作用域内所有全局变量和值的字典。 locals()返回包含当前 阅读全文
摘要：
话不多说，直接上代码吧。 效果展示： 阅读全文
摘要：
第一步：先安装jieba库 输入命令：pip install jieba jieba库常用函数： jieba库分词的三种模式： 1、精准模式：把文本精准地分开，不存在冗余 2、全模式：把文中所有可能的词语都扫描出来，存在冗余 3、搜索引擎模式：在精准模式的基础上，再次对长词进行切分 精准模式： >> 阅读全文
摘要：
一、安装Hadoop插件 1. 所需环境 hadoop2.0伪分布式环境平台正常运行 所需压缩包：eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz 在Linux环境下运行的eclipse软件压缩包,解压后文件名为eclipse hadoop2x-eclipse 阅读全文
摘要：
一、搭建环境的前提条件 环境：ubuntu-16.04 hadoop-2.6.0 jdk1.8.0_161。这里的环境不一定需要和我一样，基本版本差不多都ok的，所需安装包和压缩包自行下载即可。 因为这里是配置Hadoop的教程，配置Java以及安装VMware Tools就自行百度解决哈，这里就不 阅读全文
摘要：
math库常用函数及举例： 注意：使用math库前，用import导入该库>>> import math 取大于等于x的最小的整数值，如果x是一个整数，则返回x>>> math.ceil(4.12)5 把y的正负号加到x前面，可以使用0>>> math.copysign(2,-3)-2.0 求x的余 阅读全文
摘要：
time模块中时间表现的格式主要有三种： struct_time 时间元组，共有九个元素组。 使用time库前先用import导入该库 1、时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量，返回时间戳方式的函数主要有time()，ctime()，gmtime()等 2、以元组的 阅读全文
摘要：
最近国庆两天，突然心血来潮重装了一遍系统，重装成了win10系统以后毛病百出哇，昨天和今天一直在解决一个问题，那就是安装Anaconda3的时候出现不了快捷方式，如下图这样只有一个快捷方式（在win7的时候还好好的）： 而且点进去会报如下错误：D:\Program Files\Anaconda3\S 阅读全文