朱志杰

摘要： 1.数据准备 2.把CSV添加到/bigdatacase/dataset中 3.检查前5行并删除第一行 4.将csv文件导入hadoop并检查前10行数据情况 5.数据文件导入hive 阅读全文

摘要： HDFS特点 1.数据冗余，软件容错很高。 2.流失数据访问，也就是HDFS一次写入，多次读写，并且没办法进行修改，只能删除之后重新创建 3.适合存储大文件。如果是小文件，而且是很多小文件，连一个块都装不满，并且还需要很多块，就会极大浪费空间。 HDFS的适用性和局限性： 1.数据批量读写，吞吐量高 阅读全文

摘要： 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input”目录 2.文件操作 使用vim编辑器，在本地Linux文件系统的“/home/hadoop/” 阅读全文

摘要： 1.安装MySql 2.windows 与 虚拟机互传文件 3.安装Hadoop 还不能从windows复制文件的，可在虚拟机里用浏览器下载安装文件，课件： 提取文件：hadoop-2.7.1.tar.gz 链接: https://pan.baidu.com/s/1HIVd9JCZstWm0k7sA 阅读全文

摘要： 分析数据分析岗位的招聘情况，包括地区分布、薪资水平、职位要求等，了解最新数据分析岗位的情况 数据出选爬取 # -*- coding:utf-8 -*-import urllibimport re,codecsimport time,randomimport requestsfrom lxml imp 阅读全文

摘要： 1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 4.设置合理的爬取间隔 import time i 阅读全文

摘要： 给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC 阅读全文

摘要： 1. 简单说明爬虫原理 1：向服务器发起请求 通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器的响应。 2：获取响应内容 如果服务器正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML、J 阅读全文

摘要： 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵') #逐个添加 阅读全文

摘要： 1.列表，元组，字典，集合分别如何增删改查及遍历。 （1）列表 增： 阅读全文