摘要：
Hadoop综合大作业 作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 Hadoop综合大作业 要求： 1.对CSV文件进行预处理生成无标题文本文件，将爬虫大作业产生的csv文件上传到HDFS 2.把hdfs中的文本 阅读全文
摘要：
本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为inp 阅读全文
摘要：
作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Linux，MySql 2.windows 与 虚拟机互传文件 3.安装Hadoop 阅读全文
摘要：
一.设置合理的user-agent，模拟成真实的浏览器去提取内容 二、对爬取的数据进行处理，生成 三、把爬取的数据生成csv文件和保存到数据库。 四、数据可视化分析。 性别饼图 阅读全文
摘要：
1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 4.设置合理的爬取间隔 import time i 阅读全文
摘要：
1.简单说明爬虫原理 什么是爬虫？ 爬虫：请求网站并提取数据的自动化程序 百科：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 爬虫原理： 模 阅读全文
摘要：
中文词频统计 1. 下载一长篇中文小说。 月牙儿 老舍 2. 从文件读取待分析文本。 text = open('zh.txt',encoding='UTF-8').read() 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba jieba.lcu 阅读全文
摘要：
1.列表，元组，字典，集合分别如何增删改查及遍历。 （1）列表 显示结果： （2）元组 显示结果： （3）字典 显示结果： （4）集合 a=set('a') a.add('b') #增加元素 a.remove('b') 或者 a.discard('b') #删除元素 a.pop() #随机删除元素 阅读全文
摘要：
1.字符串操作： 解析身份证号：生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 （1）解析身份证号： （2）凯撒密码编码： （3）网址观察与批量生成 2.英文词频统计预处理 下载一首英文的歌词或文章或小说。 将所有大写转换为小写 将所有其他做分隔符（,.？！）替换为空格 分隔出一个一 阅读全文
摘要：
1.浏览2019春节各种大数据分析报告，例如： 这世间，再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993 春节人口迁徙大数据报告！http://www.sohu.com/a/293854116_679156 春节大数据:消费首破万 阅读全文