摘要：
作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 一、配置前置条件 1.将爬虫大作业产生的csv文件上传到LINUX 首先把收集到的数据所生成的csv文件上传到装有MySQL、Hive以及Hadooplinux系 阅读全文
摘要：
作业要求来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS:进行分布式计算平台，将多台节点的内容进行汇总分析。 MapR 阅读全文
摘要：
以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input”目录 2.文件操作 使用vim编辑器 阅读全文
摘要：
1.Hadoop的介绍 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案 阅读全文
摘要：
爬取哔哩哔哩弹幕 import re import sqlite3 import requests from lxml import etree import threading from queue import Queue import pandas as pd import pymysql f 阅读全文
摘要：
1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 4.设置合理的爬取间隔 import time i 阅读全文
摘要：
给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC 阅读全文
摘要：
1. 简单说明爬虫原理 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； HTTP协议的作用原理包括四个步骤： ①连接：Web浏览器与Web服务 阅读全文
摘要：
中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵' 阅读全文
摘要：
1.列表，元组，字典，集合分别如何增删改查及遍历。 2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面： 列表（list）：列表是一组有序项目的数字结构，列表的项目应该放在方括号[ ]中，列表是可以被改变和可重复的；按照索引的方式查找通过偏移存储并且元素可以任意类型存在。 元组(tuple 阅读全文