会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
杜俊霖
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2019年6月17日
大数据应用期末总评
摘要: 一、将爬虫大作业产生的csv文件上传到HDFS(对CSV文件进行预处理生成无标题文本文件) 1.准备本地数据文件 jin.csv(2500条数据)。 2.在本地中创建一个/usr/local/bigdatacase/dataset文件夹: ① cd /usr/local ② sudo mkdir b
阅读全文
posted @ 2019-06-17 09:23 杜俊霖
阅读(487)
评论(0)
推荐(0)
编辑
2019年6月3日
分布式并行计算MapReduce
摘要: 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS: (1)功能: NameNode:负责管理文件系统的 namespace 以及客户端对文件的访问; DataNode:用于管理它所在节点上的存储; FailoverController:故障切换控
阅读全文
posted @ 2019-06-03 15:46 杜俊霖
阅读(361)
评论(0)
推荐(0)
编辑
2019年5月27日
分布式文件系统HDFS 练习
摘要: 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoop用户) 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input
阅读全文
posted @ 2019-05-27 16:23 杜俊霖
阅读(109)
评论(0)
推荐(0)
编辑
2019年5月8日
安装关系型数据库MySQL 安装大数据处理框架Hadoop
摘要: 1.安装MySql 2.windows 与 虚拟机互传文件 3.安装Hadoop 4. 简述Hadoop平台的起源、发展历史与应用现状 起源: 2003-2004年,Google公布了部分GFS和MapReduce思想的细节,受此启发的Doug Cutting等人用2年的业余时间实现了DFS和Map
阅读全文
posted @ 2019-05-08 10:50 杜俊霖
阅读(183)
评论(0)
推荐(0)
编辑
2019年4月28日
爬虫综合大作业
摘要: 一.把爬取的内容保存取MySQL数据库 import pandas as pd import pymysql from sqlalchemy import create_engine conInfo = "mysql+pymysql://user:passwd@host:port/gzccnews?
阅读全文
posted @ 2019-04-28 19:14 杜俊霖
阅读(316)
评论(0)
推荐(0)
编辑
2019年4月11日
爬取全部的校园新闻
摘要: 1.从新闻url获取新闻详情: 字典,anews 2.从列表页的url获取新闻url:列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 :列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 4.设置合理的爬取间隔 import time i
阅读全文
posted @ 2019-04-11 20:26 杜俊霖
阅读(167)
评论(0)
推荐(0)
编辑
2019年4月3日
获取一篇新闻的全部信息
摘要: 给定一篇新闻的链接newsUrl,获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击: newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC
阅读全文
posted @ 2019-04-03 11:05 杜俊霖
阅读(177)
评论(0)
推荐(0)
编辑
2019年3月27日
理解爬虫原理
摘要: 作业要求来自于https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851 1. 简单说明爬虫原理 答:从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地,进而提
阅读全文
posted @ 2019-03-27 15:40 杜俊霖
阅读(191)
评论(0)
推荐(0)
编辑
2019年3月18日
中文词频统计
摘要: 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库,加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵'
阅读全文
posted @ 2019-03-18 19:51 杜俊霖
阅读(211)
评论(0)
推荐(0)
编辑
2019年3月13日
复合数据类型,英文词频统计
摘要: 作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表: 元组: 字典: dict={'bob':85,'nacy':70,'mary':90} #字典 #增
阅读全文
posted @ 2019-03-13 13:54 杜俊霖
阅读(145)
评论(0)
推荐(0)
编辑
下一页