一夕思醉

摘要： 今天学习内容为正则表达式，这一块我一整天竟然没有学完。 在一开始爬取网页匹配有用的字符串时，我用的是find方法，如下： 1 def find_image(page_url): 2 html = url_open(page_url).decode("utf-8") 3 image_addr = [] 阅读全文

摘要： 今天的学习内容是利用python对图片进行爬取。 首先找到一个中意的图片网站，打开开发者工具，仔细寻找有关爬取内容的代码 可以很明显的找到.JPG格式的文件，然后直接爬取本网页的源代码，用正则表达式筛选出相应的.JPG文件，读取并保存就可以啦！ from urllib import request 阅读全文

摘要： 今天进入Python爬虫学习，具体学习内容为下载图片，爬取有道词典的翻译和简单的使用代理。 1、下载图片 非常简单的小脚本，在http://www.placekitten.com网上爬取猫咪的图片 代码如下 1 from urllib import request 2 3 4 def door(): 阅读全文

摘要： 本次学习记录内容为python基础，python版本是3.5、3.7，学习内容包括文件操作，基本的异常，简单的Easygui,常用的魔法方法。 1、文件操作 核心语句是open语句，操作规则为open(file, mode='r', buffering=-1, encoding=None, erro 阅读全文

摘要： 今天主要学习内容是安装配置spark，次要学习内容是整理一下Hadoop，Hbase，hive。 因为今天试着启动了一遍进程，发现hbase的进程HMaster总是掉线，紧跟着HRegionServer也同时掉线了。无奈只好检查了一遍logs，发现报Permission denied的问题，那不用说 阅读全文

摘要： 现给定一个一千条的原始数据的txt文件，要求清洗掉多余字符，按照空格和换行规则导入hive中。 1、导入txt文件 使用BufferedReader方法导入txt文件，准备进行处理。 2、清洗数据 使用字符串分割函数split()将数据按照空格、/、+、，等字符进行分割。 3、导出txt文件 使用F 阅读全文

摘要： 本周总结一下安装Hadoop+hbase+zookeeper时遇到的坑。 一、Hadoop和hbase版本是有兼容关系的 这是从官网（hbase.apache.org/book.html#java）的文档中扒下来的最新的版本对应表。 对勾表示可以适配 错号表示不能适配 叹号表示未经过测试，有可能不适 阅读全文

摘要： 初学Hadoop，总感觉比较抽象，而且因为不熟悉，所以有可能连是否安装成功、启动成功都不清楚，所以我特别总结了一下成功启动的流程。 安装好进入Hadoop目录： 查看所有文件： 启动Hadoop之前首先格式化分布式文件系统（format the DFS filesystem）： 在一系列条目中找到如 阅读全文

摘要： 本周在deepin系统中安装了hadoop。 由于hadoop本身是需要运行在linux系统中，在windows上要不使用虚拟机，要不运用Cygwin模拟相应的环境才可以，所以我干脆只在deepin的系统上安装了hadoop。安装教程也很好找，我使用的安装教程是：https://blog.csdn. 阅读全文

摘要： 本周是暑假第三周，由于某些特殊原因，本周我几乎没有学习，所以本次博客也没有记录什么新的学习内容。 只是本周同学聚会，见了一个比我大一届的同学，也是软工系的，我们聊了一些关于学习、考研，就业方面的问题，感慨颇多，他也以一个“过来人”的身份告诉我一些很有用的东西。这也算我本周最大的收获了吧。 阅读全文