04 2018 档案

熟悉常用的HDFS操作
摘要:一、Hadoop提供的Shell命令完成相同任务: 二、 阅读全文

posted @ 2018-04-27 09:17 105李梓维 阅读(139) 评论(0) 推荐(0) 编辑

爬虫大作业
摘要:python爬虫 抓取《极简宇宙史》书评,制作词云 分析网页源码,进行数据抓取 数据抓取完之后,删除标点符号。把全部书评复制到桌面的一个新建文本文档中 生成词云 运行程序之后,生成的词云如图所示: 阅读全文

posted @ 2018-04-24 18:17 105李梓维 阅读(183) 评论(0) 推荐(0) 编辑

数据结构化与保存
摘要:1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) import pandas imp 阅读全文

posted @ 2018-04-17 20:38 105李梓维 阅读(89) 评论(0) 推荐(0) 编辑

使用正则表达式,取得点击次数,函数抽离
摘要:1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。re.split('',news) 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getCl 阅读全文

posted @ 2018-04-09 19:58 105李梓维 阅读(102) 评论(0) 推荐(0) 编辑

爬取校园新闻首页的新闻
摘要:import requests from bs4 import BeautifulSoup from datetime import datetime url = "http://news.gzcc.cn/html/xiaoyuanxinwen/" res = requests.get(url) res.encoding = 'utf-8' soup = BeautifulSoup(res... 阅读全文

posted @ 2018-04-02 22:06 105李梓维 阅读(97) 评论(0) 推荐(0) 编辑

导航

点击右上角即可分享
微信分享提示