摘要：
原则一：避免创建重复的RDD 通常来说，我们在开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD；接着对这个RDD执行某个算子操作，然后得到下一个RDD；以此类推，循环往复，直到计算出最终我们需要的结果。在这个过程中，多个RDD会通过不同的算子操作（比 阅读全文
摘要：
使用requests模块爬取百度或者谷歌搜索结果，，如下代码示例是百度的，修改为谷歌的话研究下谷歌url的格式替换下即可，把要搜索的字段写入一个文件中，每行写一个，运行的第一个参数为文件路径，按代码中的保存格式将结果保存在当前目录的文件中；代码如下# coding=utf-8import osimp 阅读全文
摘要：
Netstat是控制台命令,是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。Netstat用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一般用于检验本机各端口的网络连接情况。 netstat命令参数： -a (all) 显示 阅读全文
摘要：
python使用wxpy模块提供的微信API接口实现两两群组的消息同步 安装模块： pip install wxpy 注意：需要同步的微信群需要保存到通讯录中 以下是自己闲来无事写的代码，暂时还存在以下几个问题，有能优化的大佬可以讨论下： 1.暂时同步不了大文件，测试发现超过40M的文件无法同步； 阅读全文
摘要：
数字格式输出描述 3.1415926 {:.2f} 3.14 保留小数点后两位 3.1415926 {:+.2f} +3.14 带符号保留小数点后两位 -1 {:+.2f} -1.00 带符号保留小数点后两位 2.71828 {:.0f} 3 不带小数 5 {:0>2d} 05 数字补零 (填充左边 阅读全文
摘要：
scrapy的流程 其流程可以描述如下： 调度器把requests-->引擎-->下载中间件 >下载器 下载器发送请求，获取响应 >下载中间件 >引擎 >爬虫中间件 >爬虫 爬虫提取url地址，组装成request对象 >爬虫中间件 >引擎 >调度器 爬虫提取数据 >引擎 >管道 管道进行数据的处理 阅读全文
摘要：
1> 查看文件信息：ls ls是英文单词list的简写，其功能为列出目录的内容，是用户最常用的命令之一，它类似于DOS下的dir命令。 Linux文件或者目录名称最长可以有265个字符，“.”代表当前目录，“..”代表上一级目录，以“.”开头的文件为隐藏文件，需要用 -a 参数才能显示。 ls常用参 阅读全文
摘要：
一、项目概述 项目运行环境 Python3.6+ Django 1.11 MySQL 5.7 其他插件(图片处理、分页、验证码....) 项目详细功能介绍 前台功能 项目首页展示 轮播图 博客推荐 最新发布 博客分类 最新评论文章 widgets小插件 搜索功能 博客分类功能 博客标签查询 友情链接 阅读全文
摘要：
CKEditor富文本编辑器 1. 安装 2. 添加应用 在INSTALLED_APPS中添加 3. 添加CKEditor设置 在settings/dev.py中添加 4. 添加ckeditor路由 在总路由中添加 5. 为模型类添加字段 ckeditor提供了两种类型的Django模型类字段 ck 阅读全文
摘要：
使用Django的管理模块，需要按照如下步骤操作： 1 管理界面本地化 在settings.py中设置语言和时区 2 创建超级管理员 创建管理员的命令如下，按提示输入用户名、邮箱、密码。 打开浏览器，在地址栏中输入如下地址后回车。 输入前面创建的用户名、密码完成登录。 登录成功后界面如下，但是并没有 阅读全文