摘要: python中的多线程是一个非常重要的知识点,但python 默认是单任务,所以今天简单的介绍一下多线程。 什么是线程: 线程也叫轻量级进程,是操作系统能够进行运算调度的最小单位,它被包涵在进程之中,是进程中的实际运作单位。 线程是进程中的一个实体,是CPU调度和分派的基本单位,线程自己不拥有系统资 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(2415) 评论(1) 推荐(0) 编辑
摘要: 解压安装包: tar -zvxf mysql-5.7.30-linux-glibc2.12-x86_64.tar.gz -C /opt/ 重命名安装包 mv mysql-5.7.30-linux-glibc2.12-x86_64/ mysql 检查是否安装mariadb rpm -qa|grep m 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 前言 下面就来了解一下如何在 Windows 下连接服务器器并实现免密登录。 一、安装OpenSSH 在cmd命令行输入ssh后回车,如果出现以下内容说明已经安装OpenSSH 如果没有则需要自行安装: win + i 打开设置 -> 找到应用 -> 应用和功能 -> 可选功能 -> 添加功能, 安 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(871) 评论(0) 推荐(0) 编辑
摘要: ## 前言 之前在centos下搭建了伪分布式并且安装了MySQL,搭建了hadoop伪分布式集群以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。比如我们把数据存储到了hdfs,都是 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(66) 评论(0) 推荐(0) 编辑
摘要: > 在之前的文章中,我们已经掌握了如何利用 requests 库进行京东商品评论的采集。今天,我们将继续深入处理这些采集到的数据,进行词频统计并制作词云图片。让我们一步步来完成这个过程。 ## 一、安装依赖 首先,我们需要安装 jieba 和 wordcloud 这两个库,它们将帮助我们实现中文分词 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(776) 评论(0) 推荐(0) 编辑
摘要: 伪分布式模式也是在一台单机上运行,集群中的结点由一个NameNode和若干个DataNode组,另有一个SecondaryNameNode作为NameNode的备份。一个机器上,既当namenode,又当datanode,或者说既是jobtracker,又是tasktracker。没有所谓的在多台机 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(283) 评论(0) 推荐(0) 编辑
摘要: MySQL 5.x 一、下载压缩包 在 下载页面,点击右边的Looking for previous GA versions(查找之前的稳定版本),会出现其他稳定版本可选(推荐下载 5.7.31 版本) 注意: mysql-xxx-win64.msi,后缀为msi的是windows安装包,即根据向导 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(1225) 评论(0) 推荐(0) 编辑
摘要: 今天用requests爬取英雄联盟官网所有英雄图片,并以英雄分类保存。 一、网页分析 首先打开网站找到英雄页面,然后查看网页源码分析页面,这里就以第一个英雄 “ 黑暗之女 ” 为例,点击可以看到他的名字和头像的图片链接都在id = "jSearchHeroDiv" 的ul节点下面的li节点中,由此看 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(122) 评论(0) 推荐(0) 编辑
摘要: 由于pip服务器在国外,导致下载速度太慢而中断,所以设置为国内的镜像源,这里使用的清华的pip源,它5分钟同步一次。 https://pypi.tuna.tsinghua.edu.cn/simple windows下,直接在user目录中创建一个pip目录,如:“C:\Users\XXX\AppDa 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(286) 评论(0) 推荐(0) 编辑
摘要: 前两期给大家介绍了如何利用requests库爬取小说和图片,这一期就和大家分享一下如何爬取京东商品的评价信息,这里先设置爬取50页,以做日后分析。 一、查找商品并检查网页 打开京东,这里以华为P30手机为例,之后打开开发者模式。 二、查找评论链接 在网页中找到评论按钮并点击使其加载数据,然后我们点击 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(1560) 评论(0) 推荐(0) 编辑
摘要: 在python中,如果想要将字符串与变量连接起来,比如想打印记录一个函数输入内容和输出内容的日志,一般方法有%-formatting 和 str.format() 。从Python 3.6开始,f-string是格式化字符串的一种很好的新方法。与其他格式化方式相比,它们不仅更易读,更简洁,不易出错, 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(250) 评论(0) 推荐(0) 编辑
摘要: sbin/start-all.sh 启动所有的Hadoop守护进程 包括:NameNode、 Secondary NameNode、DataNode,ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程 包括:NameNode、 S 阅读全文
posted @ 2022-11-16 18:06 杨业壮 阅读(460) 评论(0) 推荐(0) 编辑
摘要: Java中的线程池是运用场景最多的并发框架,几乎所有需要异步或并发执行任务的程序都可以使用线程池,所以我们就要认识并弄懂线程池,以便于更好的为我们业务场景服务。 一、为什么使用线程池 在web开发中,服务器需要接受并处理请求,所以会为一个请求来分配一个线程来进行处理。如果每次请求都新创建一个线程的话 阅读全文
posted @ 2022-11-16 18:05 杨业壮 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 在Java 编程中会广泛应用到字符串,在 Java 中字符串属于对象,Java 提供了 String 类来创建和操作字符串。需要注意的是,String的值是不可变的,这就导致每次对String的操作都会生成新的String对象,这样不仅效率低下,而且大量浪费有限的内存空间。为了应对经常性的字符串相关 阅读全文
posted @ 2022-11-16 18:05 杨业壮 阅读(102) 评论(0) 推荐(0) 编辑
摘要: 最近研究Python数据分析,需要利用Matplotlib绘制图表,并将多个图表绘制在一张图中,经过一番折腾,利用matplotlib包下的subplot()函数即可实现此功能。 代码实现: import matplotlib.pyplot as plt import numpy as np cla 阅读全文
posted @ 2022-11-16 18:05 杨业壮 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 字典是Python中特有的数据结构,它包含多个元素,每个元素都是一个键值对。在Python 3.9中,处理Python字典时编写的代码更具可读性也更精简。下面看看Python中合并字典的多种方法。 例如,创建一个字典d1,存储了他的年龄信息。再创建一个字典d2。该字典存储了他的GPA和婚姻状况。 d 阅读全文
posted @ 2022-11-16 18:05 杨业壮 阅读(430) 评论(0) 推荐(0) 编辑
摘要: 写业务中,从一个页面跳转到另一个页面,经常需要传值和取值,如何实现? 1、通过router-link进行跳转 使用query传递参数,路由必须使用path引入 <-- 在a页面进行传值 --> <router-link :to="{path: '/home', query: {key: 'hello 阅读全文
posted @ 2022-11-16 18:05 杨业壮 阅读(2461) 评论(0) 推荐(0) 编辑
摘要: 在应用界面开发中通常由多层嵌套的组件组合而成。但随着页面的增多,如果把所有的页面都塞到一个 routes 数组里面会显得很乱,你无法确定哪些页面存在关系。借助 vue-router 提供了嵌套路由的功能,让我们能把相关联的页面组织在一起。 实验目的 在我们的商城项目中,后台管理页 Admin 涉及到 阅读全文
posted @ 2022-11-16 18:05 杨业壮 阅读(61) 评论(0) 推荐(0) 编辑
摘要: Flume对接Kafka 一、为什么要集成Flume和Kafka 二、flume 与 kafka 的关系及区别 三、Flume 对接 Kafka(详细步骤) (1). Kafka作为source端 1. 配置flume 2. 启动flume 3. 启动Kafka producer (2). Kafk 阅读全文
posted @ 2022-11-16 18:05 杨业壮 阅读(514) 评论(0) 推荐(0) 编辑
摘要: 搭建多节点hadoop集群 1. 主机规划 2. 关闭防火墙 3. 配置ssh密码登录 4. 安装zookeeper 5. 安装hadoop 6. 启动集群(严格按照此步骤进行) 7. 查看节点情况 1. 主机规划 | 编号 | 主机 | zookeeper | namenode | datanod 阅读全文
posted @ 2022-11-16 18:05 杨业壮 阅读(136) 评论(0) 推荐(0) 编辑