04 2022 档案

|NO.Z.00008|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:48 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:48 yanqi_vip 阅读(7) 评论(0) 推荐(0) 编辑

|NO.Z.00006|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v06|——|Arithmetic.v06|Pandas数据分析库:Pandas模块安装|
摘要:一、Pandas模块安装 ### 在windows.dos下安装pandas C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ # 输出参数 Installing col 阅读全文

posted @ 2022-04-18 13:47 yanqi_vip 阅读(32) 评论(0) 推荐(0) 编辑

|NO.Z.00007|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v07|——|Arithmetic.v07|Matplotlib数据可视化:Matplotlib模块安装|
摘要:一、Matplotlib模块安装 ### 在windows.dos下安装Matplotlib C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ # 输出参数 Instal 阅读全文

posted @ 2022-04-18 13:47 yanqi_vip 阅读(29) 评论(0) 推荐(0) 编辑

|NO.Z.00004|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v04|——|Arithmetic.v04|Jupyter交互程序:Jupyter插件配置|
摘要:一、指定默认启动目录 ### 查看jupyter_noteboot_config.py配置文件所在地址 ~~~ # 查看jupyter_noteboot_config.py配置文件所在地址 C:\Users\Administrator>jupyter notebook --generate-conf 阅读全文

posted @ 2022-04-18 13:46 yanqi_vip 阅读(28) 评论(0) 推荐(0) 编辑

|NO.Z.00005|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v05|——|Arithmetic.v05|NumPy科学计算库:NumPy模块安装|
摘要:一、NumPy科学计算库 ### 安装numpy模块 C:\Users\Administrator>pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ # 输出参数: Successfully installed num 阅读全文

posted @ 2022-04-18 13:46 yanqi_vip 阅读(16) 评论(0) 推荐(0) 编辑

|NO.Z.00002|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v02|——|Arithmetic.v02|PyCharm.20200205安装.V2|
摘要:一、PyCharm.20200205安装 ### 下载地址: ~~~ https://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC 2、安装PyCharm.20200205 3、更改 阅读全文

posted @ 2022-04-18 13:45 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00003|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v03|——|Arithmetic.v03|Jupyter交互程序:Jupyter库安装|
摘要:一、安装jupyter库 ### 查看pip版本 C:\Users\Administrator>pip --version pip 21.2.4 from D:\JAVA\Python310\lib\site-packages\pip (python 3.10) ### 在windows.dos下安 阅读全文

posted @ 2022-04-18 13:45 yanqi_vip 阅读(59) 评论(0) 推荐(0) 编辑

|NO.Z.00001|——————————|Deployment|——|Hadoop&Arithmetic环境部署.v01|——|Arithmetic.v01|Python310安装.V1|
摘要:一、Python310安装配置 1、下载地址:https://www.python.org/ftp/python/3.10.1/python-3.10.1-amd64.exe 2、自定义安装 3、自定义插件安装 4、更改安装目录 5、安装成功 二、配置环境变量: 1、配置系统环境变量:配置Pytho 阅读全文

posted @ 2022-04-18 13:44 yanqi_vip 阅读(14) 评论(0) 推荐(0) 编辑

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:43 yanqi_vip 阅读(9) 评论(0) 推荐(0) 编辑

|NO.Z.00016|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:42 yanqi_vip 阅读(10) 评论(0) 推荐(0) 编辑

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:42 yanqi_vip 阅读(10) 评论(0) 推荐(0) 编辑

|NO.Z.00015|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v15|——|Elasticsearch.v15|日志分析实战.V3&Logstash读取Kafka|
摘要:一、Logstash读取Kafka ### Logstash配置文件 ~~~ 官网地址:https://www.elastic.co/guide/en/logstash/7.3/plugins-inputs-kafka.html ### 上传IP地址库 ~~~ # 上传IP地址库到Datas目录下 阅读全文

posted @ 2022-04-18 13:41 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00013|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v13|——|Elasticsearch.v13|日志分析实战.V1&Nginx部署|
摘要:一、日志分析平台实战 一、Nginx部署 ### 安装git工具,安装wget下载工具 ~~~ # 安装相关工具包:Hadoop02 [root@hadoop02 ~]# yum install wget git -y [root@hadoop02 ~]# yum install gcc-c++ - 阅读全文

posted @ 2022-04-18 13:40 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00014|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v14|——|Elasticsearch.v14|日志分析实战.V2&Filebeat部署|
摘要:一、Filebeat ### Filebeat ~~~ Filebeat主要是为了解决Logstash工具比较消耗资源比较重的问题, ~~~ 因为Logstash是Java语言编写, ~~~ 所以官方推出了一些轻量级的采集工具,推出了Beats系列,其中使用比较广泛的是Filebeat。 ~~~ 官 阅读全文

posted @ 2022-04-18 13:40 yanqi_vip 阅读(29) 评论(0) 推荐(0) 编辑

|NO.Z.00011|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v11|——|Elasticsearch.v11|Logstash&Logstash部署.V3|
摘要:一、filter插件 ### Filter插件 ~~~ Logstash之所以强悍的主要原因是filter插件; ~~~ 通过过滤器的各种组合可以得到我们想要的结构化数据。 ~~~ 官网地址:https://www.elastic.co/guide/en/Logstash/current/plugi 阅读全文

posted @ 2022-04-18 13:39 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00012|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v12|——|Elasticsearch.v12|Logstash&Logstash部署.V4|
摘要:一、Output插件:标准输出到控制台 ### 标准输出到控制台 ~~~ # 将收集的数据直接打印到控制台 [root@hadoop02 ~]# /opt/yanqi/servers/es/Logstash/bin/logstash \ -e 'input{stdin{}}output{stdout 阅读全文

posted @ 2022-04-18 13:39 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00009|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v09|——|Elasticsearch.v09|Logstash&Logstash部署.V1|
摘要:一、Logstash ### Logstash介绍及安装 ~~~ 官网:https://www.elastic.co/guide/index.html ~~~ Logstash:https://www.elastic.co/guide/en/logstash/current/index.html # 阅读全文

posted @ 2022-04-18 13:38 yanqi_vip 阅读(44) 评论(0) 推荐(0) 编辑

|NO.Z.00010|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v10|——|Elasticsearch.v10|Logstash&Logstash部署.V2|
摘要:一、Input插件部署 ### Input插件部署 ~~~ stdin标准输入和stdout标准输出 ### 使用标准的输入与输出组件 ~~~ # 使用标准的输入与输出组件,实现将我们的数据从控制台输入,从控制台输出 [root@hadoop02 ~]# /opt/yanqi/servers/es/ 阅读全文

posted @ 2022-04-18 13:38 yanqi_vip 阅读(17) 评论(0) 推荐(0) 编辑

|NO.Z.00008|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v08|——|Elasticsearch.v08|索引管理&IK分词器部署.V2|
摘要:一、词典使用 ### 词典使用 ~~~ # 扩展词: ~~~ 就是不想让哪些词被分开,让他们分成一个词。比如上面的江大桥 ~~~ # 停用词: ~~~ 有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。 ~~~ 例如英文的a、an、the、of等。或中文的”的、了、呢等”。这样的词称 阅读全文

posted @ 2022-04-18 13:37 yanqi_vip 阅读(25) 评论(0) 推荐(0) 编辑

|NO.Z.00007|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v07|——|Elasticsearch.v07|索引管理&IK分词器部署.V1|
摘要:一、安装IK分词器 ### 安装IK分词器 ~~~ # hadoop01~03:使用root用户部署IK分词器,然后重启ES服务 ~~~ # 在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录 [root@hadoop02 ~]# mkdir /opt/ya 阅读全文

posted @ 2022-04-18 13:37 yanqi_vip 阅读(24) 评论(0) 推荐(0) 编辑

|NO.Z.00006|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v06|——|Elasticsearch.v06|ElasticSearch-head插件部署.V3|
摘要:一、部署kibana服务 ### 下载kibana版本包 ~~~ # 下载kibana服务版本包:使用root用户部署 [root@hadoop02 software]# wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.3 阅读全文

posted @ 2022-04-18 13:36 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00004|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v04|——|Elasticsearch.v04|ElasticSearch-head插件部署.V1|
摘要:一、安装elasticsearch-head插件 ### Elasticsearch Head插件介绍及安装和验证主从环境 ~~~ Elasticsearch Head插件介绍及安装 ### elasticsearch-head 简介 ~~~ elasticsearch-head是一个界面化的集群操 阅读全文

posted @ 2022-04-18 13:35 yanqi_vip 阅读(18) 评论(0) 推荐(0) 编辑

|NO.Z.00005|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v05|——|Elasticsearch.v05|ElasticSearch-head插件部署.V2|
摘要:一、ElasticSearch-head:谷歌浏览其插件方式安装:测试环境推荐使用 ### ElasticSearch-head:谷歌浏览其插件方式安装:# 测试环境推荐使用 ~~~ Elasticsearch 5之后则需要将elasticsearch-head服务单独运行, ~~~ 并且支持Chr 阅读全文

posted @ 2022-04-18 13:35 yanqi_vip 阅读(8) 评论(0) 推荐(0) 编辑

|NO.Z.00002|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v02|——|Elasticsearch.v02|Single-Node Mode使用|
摘要:一、简单使用es ### 创建blog01索引 ~~~ # 创建blog01索引:若是返回是true,说明创建索引是成功的 [root@hadoop01 ~]# curl -XPUT http://hadoop01:9200/blog01/?pretty ~~~输出参数 { "acknowledge 阅读全文

posted @ 2022-04-18 13:34 yanqi_vip 阅读(13) 评论(0) 推荐(0) 编辑

|NO.Z.00003|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v03|——|Elasticsearch.v03|ElasticSearch集群部署.V1|
摘要:一、Elasticsearch 集群环境准备 ### hadoop01~03修改系统配置:修改/etc/sysctl.conf ~~~ # 修改/etc/sysctl.conf [root@hadoop01 ~]# vim /etc/sysctl.conf ~~~在文件末尾添加如下参数 vm.max 阅读全文

posted @ 2022-04-18 13:34 yanqi_vip 阅读(18) 评论(0) 推荐(0) 编辑

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:33 yanqi_vip 阅读(8) 评论(0) 推荐(0) 编辑

|NO.Z.00001|——————————|Deployment|——|Hadoop&ElasticSearch集中式日志分析系统.v01|——|Elasticsearch.v01|Single-Node Mode部署|
摘要:一、Elasticsearch Single-Node Mode部署 ### Elasticsearch Single-Node Mode部署 ~~~ Elasticsearch是一个分布式全文搜索引擎, ~~~ 支持单节点模式(Single-Node Mode)和集群模式(Cluster Mode 阅读全文

posted @ 2022-04-18 13:33 yanqi_vip 阅读(14) 评论(0) 推荐(0) 编辑

|NO.Z.00022|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:32 yanqi_vip 阅读(2) 评论(0) 推荐(0) 编辑

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-18 13:32 yanqi_vip 阅读(5) 评论(0) 推荐(0) 编辑

|NO.Z.00020|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v20|——|Kylin.v11|Apache Druid部署|单服务器部署|
摘要:一、Druid 部署 ### 下载Druid版本包并解压版本包 ~~~ # 下载 Druid 安装包、并解压缩: ~~~ # Druid官网:https://druid.apache.org/ [root@hadoop01 ~]# cd /opt/yanqi/software/ ~~~ # 官网源下 阅读全文

posted @ 2022-04-18 13:31 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00021|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v21|——|Kylin.v12|Apache Druid部署|集群部署|
摘要:一、集群部署 ### 环境资源说明 ~~~ 虚拟机每个节点2core、3G ~~~ DeepStorage:Hadoop 2.9.2 ### 部署规划:集群部署采用的分配如下 ~~~ 主节点部署 Coordinator 和 Overlord进程 ~~~ 数据节点运行 Historical 和 Mid 阅读全文

posted @ 2022-04-18 13:31 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00018|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v18|——|Kylin.v09|Kylin构建Cube|Segment管理|使用JDBC连接操作Kylin|
摘要:一、使用JDBC连接操作Kylin ### 使用JDBC连接操作Kylin ~~~ 要将数据以可视化方式展示出来,需要使用Kylin的JDBC方式连接执行SQL,获取Kylin的执行结果 ~~~ 使用Kylin的JDBC与JDBC操作MySQL一致 ~~~ jdbc url:jdbc:kylin:/ 阅读全文

posted @ 2022-04-18 13:30 yanqi_vip 阅读(24) 评论(0) 推荐(0) 编辑

|NO.Z.00019|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v19|——|Kylin.v10|Kylin构建Cube|实时OLAP.V2|
摘要:一、OLAP环境准备 ### OLAP环境准备 ~~~ # 进入服务部署目录 [root@hadoop02 ~]# cd /opt/yanqi/servers/ ~~~ # coordinator [root@hadoop02 servers]# cp -r kylin-3.1.1/ kylin-3 阅读全文

posted @ 2022-04-18 13:30 yanqi_vip 阅读(24) 评论(0) 推荐(0) 编辑

|NO.Z.00016|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v16|——|Kylin.v07|sparkcore高可用配置|
摘要:一、高可用配置:spark standalone集群配置 ### 修改 spark-env.sh 文件,并分发到集群中 [root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh # export SPARK_MASTER_HOST=hadoop01 # 阅读全文

posted @ 2022-04-18 13:29 yanqi_vip 阅读(16) 评论(0) 推荐(0) 编辑

|NO.Z.00017|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v17|——|Kylin.v08|Kylin部署配置|
摘要:一、Kylin安装环境准备:依赖环境 软件 版本 Hive 2.3.7 Hadoop 2.9.2 HBase 1.3.1 Zookeeper 3.4.14 Kafka 1.0.2 Spark 2.4.5 二、集群规划 server Hadoop01 hadoop02 hadoop03 HDFS Na 阅读全文

posted @ 2022-04-18 13:29 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.00014|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v14|——|Kylin.v05|Spark-standalone集群模式|core/mamory|
摘要:一、集群模式--Standalone模式 ### 检查集群状态 ~~~ # 启动服务 [root@hadoop01 ~]# start-dfs.sh [root@hadoop01 ~]# start-yarn.sh [root@hadoop01 ~]# start-all-spark.sh ~~~ 阅读全文

posted @ 2022-04-18 13:28 yanqi_vip 阅读(17) 评论(0) 推荐(0) 编辑

|NO.Z.00015|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v15|——|Kylin.v06|history server|
摘要:一、History Server配置 ### History Server ~~~ # 配置服务的history server:spark-defaults.conf [root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-defaults.conf # hist 阅读全文

posted @ 2022-04-18 13:28 yanqi_vip 阅读(30) 评论(0) 推荐(0) 编辑

|NO.Z.00013|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v13|——|Kylin.v04|Spark集群部署|
摘要:一、spark安装 ### 下载软件解压缩, ~~~ # 下载spark版本包 [root@hadoop01 software]# wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoo 阅读全文

posted @ 2022-04-18 13:27 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.00012|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v12|——|Kylin.v03|HBase Shell操作|
摘要:一、HBase shell 基本操作 ### 进入Hbase客户端命令操作界面 ~~~ # 进入hbase客户端 [root@hadoop01 ~]# hbase shell ~~~ # 查看帮助命令 hbase(main):004:0> help ~~~ # 查看当前数据库有哪些表 hbase(m 阅读全文

posted @ 2022-04-17 16:22 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00009|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v09|——|kudu.v01|部署安装|ntp|
摘要:一、安装和运行 ### 安装前提和准备 ~~~ # 硬件: ~~~ 一台或者多台机器跑kudu-master。 ~~~ 建议跑一个master(无容错机制)、 ~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 ~~~ 一台或者多台机器跑kudu-tserve 阅读全文

posted @ 2022-04-17 16:21 yanqi_vip 阅读(27) 评论(0) 推荐(0) 编辑

|NO.Z.00010|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v10|——|Kylin.v01|zookeeper&kafka|集群搭建|
摘要:一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.121 Hadoop02 192.168.1.122 Hadoop03 192.168.1.123 一、部署kafka集群:配置hosts文件 ### 以上三台主机的/e 阅读全文

posted @ 2022-04-17 16:21 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.Z.00011|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v11|——|Kylin.v02|HBase集群部署|
摘要:一、HBase集群安装部署 ### 下载安装包 ~~~ # 下载HBase版本包 [root@hadoop01 software]# wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz ### 解压安装包到指定 阅读全文

posted @ 2022-04-17 16:21 yanqi_vip 阅读(8) 评论(0) 推荐(0) 编辑

|NO.Z.00007|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v07|——|ClickHouse.v07|ClickHouse链接kafka|
摘要:一、ClickHouse链接Kafka ### ClickHouse链接Kafka:此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性: ~~~ 发布或者订阅数据流。 ~~~ 容错存储机制。 ~~~ 处理流数据。 ### 链接语法格式 ~~~ # 老版格式: Kafka(k 阅读全文

posted @ 2022-04-17 16:20 yanqi_vip 阅读(49) 评论(0) 推荐(0) 编辑

|NO.Z.00008|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v08|——|ClickHouse.v08|ClickHouse链接JDBC|
摘要:一、JDBC ### ClickHouse链接JDBC ~~~ 允许CH通过 JDBC 连接到外部数据库。 ~~~ 要实现JDBC连接,CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 ~~~ 该引擎支持 Nullable 数据类型。 ### 建表语法 CREATE 阅读全文

posted @ 2022-04-17 16:20 yanqi_vip 阅读(11) 评论(0) 推荐(0) 编辑

|NO.Z.00006|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v06|——|ClickHouse.v06|ClickHouse链接MySQL|
摘要:一、ClickHouse链接mysql ### mysql说明 ~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。 ### 调用格式: MySQL('host:port', 'database', 'table', 'user', 'password'[, 阅读全文

posted @ 2022-04-17 16:19 yanqi_vip 阅读(18) 评论(0) 推荐(0) 编辑

|NO.Z.00003|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v03|——|ClickHouse.v03|表引擎|MergeTree|MergeTree存储策略|JBOC策略|
摘要:一、JBOD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行:</y 阅读全文

posted @ 2022-04-17 16:18 yanqi_vip 阅读(55) 评论(0) 推荐(0) 编辑

|NO.Z.00004|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v04|——|ClickHouse.v04|表引擎|MergeTree|MergeTree存储策略|HOT/COLD策略|
摘要:一、HOT/COLD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行 阅读全文

posted @ 2022-04-17 16:18 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00005|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v05|——|ClickHouse.v05|ClickHouse链接HDFS|
摘要:一、HDFS ### HDFS ~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎,但提供Hadoop特定的功能。 ### 用途 ~~~ 该 URI 参数是HDFS中的整个文件URI。 阅读全文

posted @ 2022-04-17 16:18 yanqi_vip 阅读(18) 评论(0) 推荐(0) 编辑

|NO.Z.00002|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v02|——|ClickHouse.v02|表引擎|MergeTree存储策略|默认策略|
摘要:一、MergeTree存储策略配置 ### 整体配置:配置mergetree存储配置方案 ~~~ 所有主机创建mergetree存储目录 [root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata [root@hadoop01 ~] 阅读全文

posted @ 2022-04-17 16:17 yanqi_vip 阅读(40) 评论(0) 推荐(0) 编辑

|NO.Z.00001|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v01|——|ClickHouse.v01|单击模式|集群模式|
摘要:一、ClickHouse下载 ### 下载地址 ~~~ 官网:https://clickhouse.yandex/ ~~~ 下载地址:http://repo.red-soft.biz/repos/clickhouse/stable/el6/ 二、ClickHouse单击模式安装 ### 单机模式:h 阅读全文

posted @ 2022-04-17 16:16 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.R.10000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:15 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:15 yanqi_vip 阅读(3) 评论(0) 推荐(0) 编辑

|NO.R.00004|——————————|Navigation|————|服务启动导航.v04|————|NTP.v04|时间同步服务器配置:方案二|
摘要:一、安装ntp服务 ### 安装ntp服务 ~~~ # hadoop01、hadoop02、hadoop03安装ntp服务: [root@hadoop01 ~]# yum -y install ntp ### 配置文件修改 ~~~ # 修改ntp.conf配置文件:hadoop01、hadoop02 阅读全文

posted @ 2022-04-17 16:15 yanqi_vip 阅读(20) 评论(0) 推荐(0) 编辑

|NO.R.00002|——————————|Navigation|————|服务启动导航.v02|————|Hadoop.v02|yarn调整map&reduce参数.v02|
摘要:附录一:Mapreduce内存参数调整一: ### 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数 阅读全文

posted @ 2022-04-17 16:14 yanqi_vip 阅读(24) 评论(0) 推荐(0) 编辑

|NO.R.00003|——————————|Navigation|————|服务启动导航.v03|————|zookeeper.v03|集群搭建|
摘要:一、Zookeeper环境搭建:HA模式 ### 下载并解版本包 [root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@h 阅读全文

posted @ 2022-04-17 16:14 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.R.00001|——————————|Navigation|————|服务启动导航.v01|————|Hadoop.v01|yarn调整map&reduce参数.v01|
摘要:附录一:报错处理一: ### 报错现象: ~~~ 卡在这个位置不会动,数据没有加载 ~~~ 在执行这个的时候,把history打开,用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r 阅读全文

posted @ 2022-04-17 16:13 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.R.00000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:12 yanqi_vip 阅读(5) 评论(0) 推荐(0) 编辑

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:11 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.Z.00006|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v06|——|Flink.v03|Yarn模式部署|yarn session方式启动|
摘要:一、Flink.Yarn模式部署 ### 启动一个YARN session(Start a long-running Flink cluster on YARN); ~~~ 方式一:yarn session启动 ~~~ 方式二:per job方式启动 二、YARN Session方式:Flink.y 阅读全文

posted @ 2022-04-17 16:11 yanqi_vip 阅读(61) 评论(0) 推荐(0) 编辑

|NO.Z.00007|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v07|——|Flink.v04|Yarn模式部署|yarn session方式启动|
摘要:一、方式一:Per job方式 ### 方式一:Per job方式 ~~~ 直接在YARN上提交运行Flink作业(Run a Flink job on YARN) ~~~ Per job启动流程 二、Per job方式启动实例 ### 启动一个应用实例 ### 在yarn-cluster-UI下查 阅读全文

posted @ 2022-04-17 16:11 yanqi_vip 阅读(14) 评论(0) 推荐(0) 编辑

|NO.Z.00005|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v05|——|Flink.v02|StandAlone模式测试|
摘要:一、在IDEA下导入打jar插件 ### 将WordCountScalaStream打成jar包 ~~~ 注意:集群搭建完毕后,Flink程序就可以打成Jar, ~~~ 在集群环境下类似于Step7中一样提交执行计算任务打jar包插件: ~~~ 该插件可以把包含所有的Flink程序需要的所有的依赖文 阅读全文

posted @ 2022-04-17 16:10 yanqi_vip 阅读(8) 评论(0) 推荐(0) 编辑

|NO.Z.00003|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v03|——|Redis.v01|环境部署|
摘要:一、Redis单机版安装和使用 ### 安装C 语言需要的GCC 环境 [root@hadoop ~]# yum install -y gcc-c++ [root@hadoop ~]# yum install -y wget ### 下载并解压缩Redis 源码压缩包 [root@hadoop so 阅读全文

posted @ 2022-04-17 16:09 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00004|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v04|——|Flink.v01|StandAlone模式部署|
摘要:一、Flink安装和部署 ### Flink支持多种安装模式 ~~~ local(本地):单机模式,一般本地开发调试使用 ~~~ StandAlone 独立模式:Flink自带集群,自己管理资源调度,生产环境也会有所应用 ~~~ Yarn模式:计算资源统一由Hadoop YARN管理,生产环境应用较 阅读全文

posted @ 2022-04-17 16:09 yanqi_vip 阅读(67) 评论(0) 推荐(0) 编辑

|NO.Z.00001|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v01|——|ZookeeperKafka.v01|环境部署|
摘要:一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.121 Hadoop02 192.168.1.122 Hadoop03 192.168.1.123 一、部署kafka集群:配置hosts文件 ### 以上三台主机的/e 阅读全文

posted @ 2022-04-17 16:08 yanqi_vip 阅读(30) 评论(0) 推荐(0) 编辑

|NO.Z.00002|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v02|——|KafkaEagle.v01|监控工具|环境部署|
摘要:一、部署kafka-eagle:开启kafka节点的JMX ### 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@ 阅读全文

posted @ 2022-04-17 16:08 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:07 yanqi_vip 阅读(13) 评论(0) 推荐(0) 编辑

|NO.Z.00013|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:06 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:06 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00011|——————————|Deployment|——|Hadoop&Spark环境部署.v11|——|Hive.v01|部署安装|
摘要:一、Hive安装配置 ### 环境准备 ~~~ Hive官网:http://hive.apache.org ~~~ 下载网址:http://archive.apache.org/dist/hive/ ~~~ 文档网址:https://cwiki.apache.org/confluence/displ 阅读全文

posted @ 2022-04-17 16:05 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00012|——————————|Deployment|——|Hadoop&Spark环境部署.v12|——|Hive.v02|Hive.metastore|HiveServer2|HCatalog|
摘要:一、metastore远程模式配置规划: 节点 metastore client Hadoop01 √ Hadoop02 √ Hadoop03 √ 二、配置并启动HiveServer服务 ### 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop03并配置 [root@h 阅读全文

posted @ 2022-04-17 16:05 yanqi_vip 阅读(30) 评论(0) 推荐(0) 编辑

|NO.Z.00009|——————————|^^ 重要 ^^|——|Hadoop&Spark环境部署.v09|——|Hadoop.v09|map$reduce参数调整.v01|
摘要:附录一:报错处理一: ### 报错现象: ~~~ 卡在这个位置不会动,数据没有加载 ~~~ 在执行这个的时候,把history打开,用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r 阅读全文

posted @ 2022-04-17 16:04 yanqi_vip 阅读(13) 评论(0) 推荐(0) 编辑

|NO.Z.00010|——————————|^^ 重要 ^^|——|Hadoop&Spark环境部署.v10|——|Hadoop.v10|map$reduce参数调整.v02|
摘要:附录一:Mapreduce内存参数调整一: # 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数 -- 阅读全文

posted @ 2022-04-17 16:04 yanqi_vip 阅读(20) 评论(0) 推荐(0) 编辑

|NO.Z.00008|——————————|Deployment|——|Hadoop&Spark环境部署.v08|——|Hadoop.v08|历史日志|服务配置|
摘要:一、配置历史服务器 ### 在Yarn中运行的任务产生的日志数据不能查看, ~~~ 为了查看程序的历史运行情况,需要配置一下历史日志服务器。具体配置步骤如下: ### 配置mapred-site.xml [root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop 阅读全文

posted @ 2022-04-17 16:03 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.Z.00006|——————————|Deployment|——|Hadoop&Spark环境部署.v06|——|Hadoop.v06|集群启动|单节点启动|
摘要:一、启动HDFS集群 ### 启动集群注意事项 ~~~ # 注意:如果集群是第一次启动,需要在Namenode所在节点格式化NameNode, ~~~ # 非第一次不用执行格式化Namenode操作!! 二、单节点启动:格式化NameNode ### 单节点启动 ~~~ # 所有节点执行 [root 阅读全文

posted @ 2022-04-17 16:02 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.Z.00007|——————————|Deployment|——|Hadoop&Spark环境部署.v07|——|Hadoop.v07|集群测试|
摘要:一、集群测试 ### HDFS 分布式存储初体验 ~~~ 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ HDFS访问地址:http://hadoop01:50070/ ~~~ # 本地hoome目录创建一个文件 [root@hadoop01 ~]# vim test.txt 阅读全文

posted @ 2022-04-17 16:02 yanqi_vip 阅读(8) 评论(0) 推荐(0) 编辑

|NO.Z.00004|——————————|Deployment|——|Hadoop&Spark环境部署.v04|——|Hadoop.v04|集群组件部署|
摘要:一、集群配置 ### # Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ### # HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS(修改hadoop-env.sh) ~~~ 指定NameNode节点以及数据存储目录(修改core-site 阅读全文

posted @ 2022-04-17 16:01 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.00005|——————————|Deployment|——|Hadoop&Spark环境部署.v05|——|Hadoop.v05|rsync-script脚本编写|
摘要:一、分发配置:rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和scp区别:用rsync做文件的复制要比scp的速度快,r 阅读全文

posted @ 2022-04-17 16:01 yanqi_vip 阅读(7) 评论(0) 推荐(0) 编辑

|NO.Z.00003|——————————|Deployment|——|Hadoop&Spark环境部署.v03|——|Hadoop.v03|环境变量配置|
摘要:一、集群规划 hadoop1 hadoop2 hadoop3 NameNode √ SecondaryNameNode √ DataNode √ √ √ ResourceManager √ DataManager √ √ √ Hive √ √ √ HiveServer2 √ 二、HDFS和YARN集 阅读全文

posted @ 2022-04-17 16:01 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00002|——————————|Deployment|——|Hadoop&Spark环境部署.v02|——|Hadoop.v02|虚拟机环境准备|
摘要:一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写,需要java环境(jvm) ~~~ JDK版本:JDK8版本 ### 集群: ~~~ 知识点学习:统一使用vmware虚拟机虚拟五台linux节点,linux操作系统:Ce 阅读全文

posted @ 2022-04-17 16:00 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:59 yanqi_vip 阅读(3) 评论(0) 推荐(0) 编辑

|NO.Z.00001|——————————|Deployment|——|Hadoop&Spark环境部署.v01|——|Hadoop.v01|基础环境配置|
摘要:一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本:VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本:CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU: 阅读全文

posted @ 2022-04-17 15:59 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.R.00009|——————————|Navigation|————|服务启动导航.v04|————|Redis.v01|环境部署|
摘要:一、Redis单机版安装和使用 ### 安装C 语言需要的GCC 环境 [root@hadoop ~]# yum install -y gcc-c++ [root@hadoop ~]# yum install -y wget ### 下载并解压缩Redis 源码压缩包 [root@hadoop so 阅读全文

posted @ 2022-04-17 15:58 yanqi_vip 阅读(7) 评论(0) 推荐(0) 编辑

|NO.R.10000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:58 yanqi_vip 阅读(3) 评论(0) 推荐(0) 编辑

|NO.R.00007|——————————|Navigation|————|服务启动导航.v02|————|ZookeeperKafka.v02|集群环境搭建|
摘要:一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.111 Hadoop02 192.168.1.122 Hadoop03 192.168.1.133 一、部署kafka集群:配置hosts文件 ### 以上三台主机的/e 阅读全文

posted @ 2022-04-17 15:57 yanqi_vip 阅读(11) 评论(0) 推荐(0) 编辑

|NO.R.00008|——————————|Navigation|————|服务启动导航.v03|————|KafkaEagle.v03|环境部署|
摘要:一、部署kafka-eagle:开启kafka节点的JMX ### 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@ 阅读全文

posted @ 2022-04-17 15:57 yanqi_vip 阅读(34) 评论(0) 推荐(0) 编辑

|NO.R.00005|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:56 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.R.00006|——————————|Navigation|————|服务启动导航.v01|————|ZookeeperKafka.v01|服务启动导航|
摘要:一、zookeeper集群启动 ### zookeeper集群启动 ~~~ # 在三台Linux上启动Zookeeper [root@hadoop01 ~]# zkServer.sh start [root@hadoop02 ~]# zkServer.sh start [root@hadoop03 阅读全文

posted @ 2022-04-17 15:56 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.R.00003|——————————|Navigation|————|服务启动导航.v03|————|zookeeper.v01|集群部署|
摘要:一、Zookeeper环境搭建:HA模式 ### 下载并解版本包 [root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@h 阅读全文

posted @ 2022-04-17 15:55 yanqi_vip 阅读(9) 评论(0) 推荐(0) 编辑

|NO.R.00004|——————————|Navigation|————|服务启动导航.v04|————|服务启动导航.v01|内存级快速计算引擎spark|
摘要:一、PB级别企业电商离线仓库:部署规划 IP地址 主机名 第一台机器 192.168.1.121 Hadoop01 第二台机器 192.168.1.122 Hadoop02 第三台机器 192.168.1.123 Hadoop03 ### 软件选型 ~~~ 数据采集:DataX、Flume、Sqoo 阅读全文

posted @ 2022-04-17 15:55 yanqi_vip 阅读(17) 评论(0) 推荐(0) 编辑

|NO.R.00001|——————————|Navigation|————|服务启动导航.v01|————|NTP.v01|时间同步服务器配置:方案一|
摘要:一、配置主机时间同步: ### 查看当前服务端和客户端版本一致 [root@localhost ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) 二、ntp.server端配置:hadoop01 ### 进行外网时间同步 阅读全文

posted @ 2022-04-17 15:54 yanqi_vip 阅读(10) 评论(0) 推荐(0) 编辑

|NO.R.00002|——————————|Navigation|————|服务启动导航.v02|————|NTP.v02|时间同步服务器配置:方案二|
摘要:一、安装ntp服务 ### 安装ntp服务 ~~~ # hadoop01、hadoop02、hadoop03安装ntp服务: [root@hadoop01 ~]# yum -y install ntp ### 配置文件修改 ~~~ # 修改ntp.conf配置文件:hadoop01、hadoop02 阅读全文

posted @ 2022-04-17 15:54 yanqi_vip 阅读(5) 评论(0) 推荐(0) 编辑

|NO.R.00000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:53 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00013|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v13|——|EbProject.v13|可视化&grafana可视化实时redis数据.V8|
摘要:一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(33) 评论(0) 推荐(0) 编辑

|NO.Z.00014|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(11) 评论(0) 推荐(0) 编辑

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(9) 评论(0) 推荐(0) 编辑

|NO.Z.00012|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v12|——|EbProject.v12|可视化&grafana可视化flink指标.V7|
摘要:一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name:prome 阅读全文

posted @ 2022-04-17 15:51 yanqi_vip 阅读(14) 评论(0) 推荐(0) 编辑

|NO.Z.00010|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v10|——|EbProject.v10|可视化&Flink配置.V5|
摘要:一、修改flink配置,开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下:/opt/yanqi 阅读全文

posted @ 2022-04-17 15:50 yanqi_vip 阅读(36) 评论(0) 推荐(0) 编辑

|NO.Z.00011|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v11|——|EbProject.v11|可视化&grafana部署.V6|
摘要:一、通过grafana工具监控,可视化效果友好: ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a 阅读全文

posted @ 2022-04-17 15:50 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00008|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v08|——|EbProject.v08|可视化&node_exporter部署.V3|
摘要:一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包,主机是centos系统;因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz , [root@hadoop00 s 阅读全文

posted @ 2022-04-17 15:49 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00009|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v09|——|EbProject.v09|可视化&pushgateway部署.V4|
摘要:一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具,使用它的原因主要是: ~~~ Prometheus 采用 pull 模式,可能由于不在一个子网或者防火墙原因, ~~~ 导致 Prometheus 无法直接 阅读全文

posted @ 2022-04-17 15:49 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00006|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v06|——|EbProject.v06|可视化&Prometheus部署.V1|
摘要:一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能:在业务层用作埋点系统 ~~~ Prometheus支持多种语言(Go,java,python,ruby官方提供客户端, ~~~ 其他语言有第三方开源客户端)。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下 阅读全文

posted @ 2022-04-17 15:48 yanqi_vip 阅读(30) 评论(0) 推荐(0) 编辑

|NO.Z.00007|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v07|——|EbProject.v07|可视化&Prometheus部署.V2|
摘要:一、prometheus部署:安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的,所以首先安装一个go环境,Go语言是跨平台,支持Windows、Linux、 ~~~ # Windows :go1.8.3.windows-amd64.msi (7 阅读全文

posted @ 2022-04-17 15:48 yanqi_vip 阅读(46) 评论(0) 推荐(0) 编辑

|NO.Z.00003|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v03|——|EbProject.v03|canal部署&Canal部署|
摘要:一、Canal 安装说明 ### 单机模式,也可以将Canal搭建集群模式。 ~~~ 如果要搭建集群模式,可将Canal目录分发给其他虚拟机,然后在各节点中分别启动Canal。 ~~~ 这种Zookeeper为观察者监控的模式, ~~~ 只能实现高可用,而不是负载均衡, ~~~ 即同一时间点只有一个 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(28) 评论(0) 推荐(0) 编辑

|NO.Z.00004|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v04|——|EbProject.v04|canal部署&kafka客户端测试|
摘要:一、Kafka客户端测试 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yan 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00005|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v05|——|EbProject.v05|Flume配置&Flume配置|
摘要:一、Flume配置文件: ### flume配置文件:event-conf.properties ~~~ # 写入Flume配置文件:event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/ev 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.00001|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v01|——|EbProject.v01|业务数据库表结构|
摘要:一、业务数据库表结构 ### 业务数据库:数据源 ~~~ 交易订单表(yanqi_trade_orders) ~~~ 订单产品表(yanqi_order_product) ~~~ 产品信息表(yanqi_product_info) ~~~ 产品分类表(yanqi_product_category) 阅读全文

posted @ 2022-04-17 15:46 yanqi_vip 阅读(29) 评论(0) 推荐(0) 编辑

|NO.Z.00002|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v02|——|EbProject.v02|canal部署&配置MySQL的binlog|
摘要:一、配置MySQL的binlog ### 常见的binlog命令 ~~~ # 是否启用binlog日志 mysql> show variables like 'log_bin'; + + + | Variable_name | Value | + + + | log_bin | ON | + + + 阅读全文

posted @ 2022-04-17 15:46 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:45 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:44 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.Z.00025|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v04|——|Griffin.v04|数据可视化|
摘要:一、数据可视化 ### 数据可视化 ~~~ ADS => DataX => MySQL => 浏览器呈现 ~~~ 对统计数据进行展示一般都是以图、表方式呈现; ~~~ 常见方式有 ECharts、HighCharts、G2、Chart.js 、FineBI等。 ~~~ 本项目使用SSM(Spring 阅读全文

posted @ 2022-04-17 15:43 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00026|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:43 yanqi_vip 阅读(5) 评论(0) 推荐(0) 编辑

|NO.Z.00023|——————————|^^ 部署 ^^|——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|
摘要:一、Griffin编译准备 ### 软件解压缩 [root@hadoop02 ~]# ls /opt/yanqi/software/griffin-griffin-0.5.0.zip /opt/yanqi/software/griffin-griffin-0.5.0.zip [root@hadoop 阅读全文

posted @ 2022-04-17 15:42 yanqi_vip 阅读(57) 评论(0) 推荐(0) 编辑

|NO.Z.00024|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v03|——|Griffin.v03|数据质量监控|
摘要:一、与电商业务集成 ### 数据资产:单击右上角的 DataAssets 来检查数据资产 ~~~ 这里的数据数据资产主要是保存在Hive上的表,要求 Hive Metastore 服务正常 ### 创建 measure ~~~ 如果要测量源和目标之间的匹配率,请选择 Accuracy(精确度验证) 阅读全文

posted @ 2022-04-17 15:42 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00021|——————————|Deployment|——|Hadoop&PB级离线数仓.v03|——|Atlas.v03|Atlas与电商业务集成|血缘关系|
摘要:一、与电商业务集成 ### 电商业务集成环境准备 ~~~ 开发(建库、建表) => 导入数据 => 执行Hive脚本 ~~~ 导入Hive的血缘关系 二、电商业务建表 ### 电商业务建表语句(可省略): ~~~ # 创建DataBases; CREATE DATABASE ODS; CREATE 阅读全文

posted @ 2022-04-17 15:41 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00022|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v01|——|Griffin.v01|Griffin部署&spark&livy&ES|
摘要:一、安装概述 ### 相关依赖:重点讲解 Griffin,不对依赖组件做过多讲解,所有组件均采用单机模式安装。 ~~~ JDK (1.8 or later versions) ~~~ MySQL(version 5.6及以上) ~~~ Hadoop (2.6.0 or later) ~~~ Hive 阅读全文

posted @ 2022-04-17 15:41 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00019|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Atlas.v01|安装配置|账户密码|
摘要:一、安装环境准备 ### 安装概述说明 ~~~ 重点讲解Atlas,不对Atlas的依赖组件做讲解,组件均采用单机模式安装。 ~~~ 编译才能安装。 ### 安装依赖 ~~~ Maven 3.6.3(完成) ~~~ HBase 1.1.2(不需要安装,需要软件包) ~~~ Solr 5.5.1(不需 阅读全文

posted @ 2022-04-17 15:40 yanqi_vip 阅读(34) 评论(0) 推荐(0) 编辑

|NO.Z.00020|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Atlas.v02|Hive血缘关系导入|
摘要:一、Hive血缘关系导入 ### 配置HIVE_HOME环境变量; ~~~ 将atlas服务下atlas-application.properties配置文件拷贝到hive服务目录下 ~~~ # 创建软连接: ~~~ 将 $ATLAS_HOME/conf/atlasapplication.prope 阅读全文

posted @ 2022-04-17 15:40 yanqi_vip 阅读(13) 评论(0) 推荐(0) 编辑

|NO.Z.00018|——————————|Deployment|——|Hadoop&PB级离线数仓.v05|——|Airflow.v05|Airflow入门案例HelloWorld|
摘要:一、Airflow核心概念 ### Airflow核心概念 ~~~ DAGs:有向无环图(Directed Acyclic Graph),将所有需要运行的tasks按照依赖关系组织起来, ~~~ 描述的是所有tasks执行的顺序; ### Operators:Airflow内置了很多operator 阅读全文

posted @ 2022-04-17 15:39 yanqi_vip 阅读(56) 评论(0) 推荐(0) 编辑

|NO.Z.00017|——————————|Deployment|——|Hadoop&PB级离线数仓.v04|——|Airflow.v04|crontab简介及案例|
摘要:一、crontab ### Crontab简介 ~~~ Linux 系统则是由 cron (crond) 这个系统服务来控制的。 ~~~ Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。 ~~~ Linux 系统也提供了Linux用户控制计划任务的命令:crontab 阅读全文

posted @ 2022-04-17 15:39 yanqi_vip 阅读(30) 评论(0) 推荐(0) 编辑

|NO.Z.00016|——————————|Deployment|——|Hadoop&PB级离线数仓.v03|——|Airflow.v03|禁用默认的DAG任务|
摘要:一、Airflow.UI界面概述 ### Airflow.UI界面概述 ~~~ Trigger Dag:人为执行触发 ~~~ Tree View:当dag执行的时候,可以点入,查看每个task的执行状态(基于树状视图)。 ~~~ 状态:success、running、failed、skipped、r 阅读全文

posted @ 2022-04-17 15:38 yanqi_vip 阅读(48) 评论(0) 推荐(0) 编辑

|NO.Z.00014|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Airflow.v01|安装部署|
摘要:一、Airflow安装部署 ### 安装依赖 ~~~ CentOS 7.X ~~~ Python 3.5或以上版本(推荐) ~~~ MySQL 5.7.x ~~~ Apache-Airflow 1.10.11 ~~~ 虚拟机可上网,需在线安装包 ~~~ # 备注:后面要安装的三个软件Airflow、 阅读全文

posted @ 2022-04-17 15:37 yanqi_vip 阅读(48) 评论(0) 推荐(0) 编辑

|NO.Z.00015|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Airflow.v02|修改默认时区|
摘要:一、修改时区 ### 修改时区 ~~~ Airflow默认使用UTC时间,在中国时区需要用+8小时。 ~~~ 将UTC修改为中国时区,需要修改Airflow源码。 ### 在修改 $AIRFLOW_HOME/airflow.cfg 文件 (env) [root@hadoop02 ~]# vim /o 阅读全文

posted @ 2022-04-17 15:37 yanqi_vip 阅读(234) 评论(0) 推荐(0) 编辑

|NO.Z.00012|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|DataX.v01|部署安装|应用案例|
摘要:一、DataX概述及安装 ### DataX概述 ~~~ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台, ~~~ 实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、 ~~~ MaxComp 阅读全文

posted @ 2022-04-17 15:36 yanqi_vip 阅读(39) 评论(0) 推荐(0) 编辑

|NO.Z.00013|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Hive on Tez.v01|Hive on Tez|部署安装|
摘要:一、Hive on Tez概述 ### Hive on Tez ~~~ Hortonworks在2014年左右发布了Stinger Initiative, ~~~ 并进行社区分享,为的是让Hive支持更多SQL,并实现更好的性能。 ~~~ 让Hive的查询功能更强大。增加类似OVER子句的分析功能, 阅读全文

posted @ 2022-04-17 15:36 yanqi_vip 阅读(47) 评论(0) 推荐(0) 编辑

|NO.Z.00009|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Hive.v01|安装配置|
摘要:一、Hive安装配置 ### 环境准备 ~~~ Hive官网:http://hive.apache.org ~~~ 下载网址:http://archive.apache.org/dist/hive/ ~~~ 文档网址:https://cwiki.apache.org/confluence/displ 阅读全文

posted @ 2022-04-17 15:35 yanqi_vip 阅读(24) 评论(0) 推荐(0) 编辑

|NO.Z.00010|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Hive.v02|HiveServer2安装配置|
摘要:一、metastore远程模式配置规划: 节点 metastore client Hadoop01 √ Hadoop02 √ Hadoop05 √ 二、配置并启动HiveServer服务 ### 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop05并配置 [root@h 阅读全文

posted @ 2022-04-17 15:35 yanqi_vip 阅读(28) 评论(0) 推荐(0) 编辑

|NO.Z.00011|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Flume.v01|Flume.v1.9安装配置|
摘要:一、安装部署Flume ### 安装部署 ~~~ Flume官网地址:http://flume.apache.org/ ~~~ 文档查看地址:http://flume.apache.org/FlumeUserGuide.html ~~~ 下载地址:http://archive.apache.org/ 阅读全文

posted @ 2022-04-17 15:35 yanqi_vip 阅读(14) 评论(0) 推荐(0) 编辑

|NO.Z.00008|——————————|Deployment|——|Hadoop&PB级离线数仓.v08|——|Hadoop.v08|历史日志服务配置|
摘要:一、配置历史服务器 ### 在Yarn中运行的任务产生的日志数据不能查看, ~~~ 为了查看程序的历史运行情况,需要配置一下历史日志服务器。具体配置步骤如下: ### 配置mapred-site.xml [root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop 阅读全文

posted @ 2022-04-17 15:34 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.00006|——————————|Deployment|——|Hadoop&PB级离线数仓.v06|——|Hadoop.v06|集群启动|单节点启动|
摘要:一、启动HDFS集群 ### 启动集群注意事项 ~~~ # 注意:如果集群是第一次启动,需要在Namenode所在节点格式化NameNode, ~~~ # 非第一次不用执行格式化Namenode操作!! 二、单节点启动:格式化NameNode ### 单节点启动 ~~~ # 所有节点执行 [root 阅读全文

posted @ 2022-04-17 15:33 yanqi_vip 阅读(20) 评论(0) 推荐(0) 编辑

|NO.Z.00007|——————————|Deployment|——|Hadoop&PB级离线数仓.v07|——|Hadoop.v07|集群测试|
摘要:一、集群测试 ### HDFS 分布式存储初体验 ~~~ # 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ HDFS访问地址:http://hadoop01:50070/ ~~~ # 本地hoome目录创建一个文件 [root@hadoop01 ~]# vim test.tx 阅读全文

posted @ 2022-04-17 15:33 yanqi_vip 阅读(33) 评论(0) 推荐(0) 编辑

|NO.Z.00005|——————————|Deployment|——|Hadoop&PB级离线数仓.v05|——|Hadoop.v05|rsync-script脚本编写|
摘要:一、分发配置:rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ # rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和scp区别:用rsync做文件的复制要比scp的速度快 阅读全文

posted @ 2022-04-17 15:32 yanqi_vip 阅读(7) 评论(0) 推荐(0) 编辑

|NO.Z.00003|——————————|Deployment|——|Hadoop&PB级离线数仓.v03|——|Hadoop.v03|环境变量配置|
摘要:一、集群规划 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 NameNode √ SecondaryNameNode √ DataNode √ √ √ √ √ ResourceManager √ DataManager √ √ √ √ √ Hive √ √ √ Hi 阅读全文

posted @ 2022-04-17 15:31 yanqi_vip 阅读(29) 评论(0) 推荐(0) 编辑

|NO.Z.00004|——————————|Deployment|——|Hadoop&PB级离线数仓.v04|——|Hadoop.v04|集群组件部署|
摘要:一、集群配置 ### Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ~~~ # HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS(修改hadoop-env.sh) ~~~ 指定NameNode节点以及数据存储目录(修改core-site.x 阅读全文

posted @ 2022-04-17 15:31 yanqi_vip 阅读(29) 评论(0) 推荐(0) 编辑

|NO.Z.00002|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Hadoop.v02|虚拟机环境准备|
摘要:一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写,需要java环境(jvm) ~~~ JDK版本:JDK8版本 ### 集群: ~~~ 知识点学习:统一使用vmware虚拟机虚拟五台linux节点,linux操作系统:Ce 阅读全文

posted @ 2022-04-17 15:30 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:29 yanqi_vip 阅读(16) 评论(0) 推荐(0) 编辑

|NO.Z.00001|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Hadoop.v01|基础环境配置|
摘要:一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本:VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本:CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU: 阅读全文

posted @ 2022-04-17 15:29 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.R.10000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:28 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.R.00001|——————————|Navigation|————|PB级企业电商离线数仓|——|服务启动导航|
摘要:一、PB级别企业电商离线仓库:部署规划 IP地址 主机名 第一台机器 192.168.1.121 Hadoop01 第二台机器 192.168.1.122 Hadoop02 第三台机器 192.168.1.123 Hadoop03 第四台机器 192.168.1.124 Hadoop04 第五台机器 阅读全文

posted @ 2022-04-17 15:27 yanqi_vip 阅读(37) 评论(0) 推荐(0) 编辑

|NO.R.00000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:26 yanqi_vip 阅读(5) 评论(0) 推荐(0) 编辑

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:54 yanqi_vip 阅读(5) 评论(0) 推荐(0) 编辑

|NO.Z.00060|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|Matplotlib数据可视化:Matplotlib3D图形|
摘要:一、3D图形:三维折线图散点图 import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d.axes3d import Axes3D # 3D引擎 x = np.linspace(0,60,300) y = 阅读全文

posted @ 2022-04-16 14:53 yanqi_vip 阅读(24) 评论(0) 推荐(0) 编辑

|NO.Z.00061|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:53 yanqi_vip 阅读(14) 评论(0) 推荐(0) 编辑

|NO.Z.00058|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|Matplotlib数据可视化:Matplotlib文本注释箭头|
摘要:一、文本、注释、箭头:常用函数如下: Pyplot函数 API方法 描述 text() mpl.axes.Axes.text() 在Axes对象的任意位置添加文字 xlabel() mpl.axes.Axes.set_xlabel() 为X轴添加标签 ylabel() mpl.axes.Axes.s 阅读全文

posted @ 2022-04-16 14:52 yanqi_vip 阅读(24) 评论(0) 推荐(0) 编辑

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|Matplotlib数据可视化:Matplotlib常用视图|
摘要:一、常用视图:折线图 import numpy as np import matplotlib.pyplot as plt x = np.random.randint(0,10,size = 15) # 一图多线 plt.figure(figsize=(9,6)) plt.plot(x,marker 阅读全文

posted @ 2022-04-16 14:52 yanqi_vip 阅读(36) 评论(0) 推荐(0) 编辑

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&Python.v03|——|Arithmetic.v03|Matplotlib数据可视化:Matplotlib风格样式|
摘要:一、风格和样式:颜色、线形、点形、线宽、透明度 import numpy as np import matplotlib.pyplot as plt x = np.linspace(0,2*np.pi,20) y1 = np.sin(x) y2 = np.cos(x) # 设置颜色,线型,点型 pl 阅读全文

posted @ 2022-04-16 14:51 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&Python.v04|——|Arithmetic.v04|Matplotlib数据可视化:Matplotlib多图布局|
摘要:一、多图布局:子视图 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-np.pi,np.pi,50) y = np.sin(x) # 子视图1 plt.figure(figsize=(9,6)) ax = plt 阅读全文

posted @ 2022-04-16 14:51 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.Z.00054|——————————|^^ 配置 ^^|——|Hadoop&Python.v01|——|Arithmetic.v01|Matplotlib数据可视化:Matplotlib模块安装|
摘要:一、Matplotlib模块安装 ### 在windows.dos下安装Matplotlib C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数 Installin 阅读全文

posted @ 2022-04-16 14:50 yanqi_vip 阅读(28) 评论(0) 推荐(0) 编辑

|NO.Z.00055|——————————|BigDataEnd|——|Hadoop&Python.v02|——|Arithmetic.v02|Matplotlib数据可视化:Matplotlib基础知识|
摘要:一、Matplotlib数据可视化 ### Matplotlib数据可视化 ~~~ pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ 在数据分析与机器学习中,我们经常要用到大量的可视化操作。 ~~~ 一张制作 阅读全文

posted @ 2022-04-16 14:50 yanqi_vip 阅读(11) 评论(0) 推荐(0) 编辑

|NO.Z.00053|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:49 yanqi_vip 阅读(2) 评论(0) 推荐(0) 编辑

|NO.Z.00052|——————————|BigDataEnd|——|Hadoop&Python.v16|——|Arithmetic.v16|Pandas数据分析库:JAVA_BBS数据分析师招聘数据分析|]
摘要:一、实战-JAVA_BBS数据分析师招聘数据分析 ### 实战-JAVA_BBS数据分析师招聘数据分析 ~~~ 分析⽬标 ~~~ 各城市对数据分析岗位的需求情况 ~~~ 不同细分领域对数据分析岗的需求情况 ~~~ 数据分析岗位的薪资状况 ~~~ ⼯作经验与薪⽔的关系 ~~~ 公司都要求什么掌握什么技 阅读全文

posted @ 2022-04-16 14:48 yanqi_vip 阅读(20) 评论(0) 推荐(0) 编辑

|NO.Z.00050|——————————|BigDataEnd|——|Hadoop&Python.v14|——|Arithmetic.v14|Pandas数据分析库:Pandas时间序列|
摘要:一、时间序列 ### 时间戳操作 ~~~ # 创建⽅法 pd.Timestamp('2020-8-24 12') # 时刻数据 pd.Period('2020-8-24',freq = 'M') # 时期数据 index = pd.date_range('2020.08.24',periods=5, 阅读全文

posted @ 2022-04-16 14:47 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00051|——————————|BigDataEnd|——|Hadoop&Python.v15|——|Arithmetic.v15|Pandas数据分析库:Pandas数据可视化|
摘要:一、数据可视化 ### 数据可视化 ~~~ pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple import numpy as np import pandas as pd ~~~ # 1、线形图 df1 = pd.D 阅读全文

posted @ 2022-04-16 14:47 yanqi_vip 阅读(8) 评论(0) 推荐(0) 编辑

|NO.Z.00048|——————————|BigDataEnd|——|Hadoop&Python.v12|——|Arithmetic.v12|Pandas数据分析库:Pandas分箱操作|
摘要:一、分箱操作 ### 分箱操作 ~~~ # 分箱操作就是将连续数据转换为分类对应物的过程。⽐如将连续的身⾼数据划分为:矮中⾼。 ~~~ # 分箱操作分为等距分箱和等频分箱。 ~~~ # 分箱操作也叫⾯元划分或者离散化。 import numpy as np import pandas as pd d 阅读全文

posted @ 2022-04-16 14:46 yanqi_vip 阅读(14) 评论(0) 推荐(0) 编辑

|NO.Z.00049|——————————|BigDataEnd|——|Hadoop&Python.v13|——|Arithmetic.v13|Pandas数据分析库:Pandas分组聚合|
摘要:一、分组聚合 ### 分组聚合 import numpy as np import pandas as pd ~~~ # 准备数据 df = pd.DataFrame(data = {'sex':np.random.randint(0,2,size = 300), # 0男,1⼥ 'class':n 阅读全文

posted @ 2022-04-16 14:46 yanqi_vip 阅读(24) 评论(0) 推荐(0) 编辑

|NO.Z.00046|——————————|BigDataEnd|——|Hadoop&Python.v10|——|Arithmetic.v10|Pandas数据分析库:Pandas简单统计指标|
摘要:一、数学和统计⽅法:简单统计指标 ### 数学和统计⽅法 ~~~ # pandas对象拥有⼀组常⽤的数学和统计⽅法。它们属于汇总统计,对Series汇总计算获取mean、max ~~~ # 值或者对DataFrame⾏、列汇总计算返回⼀个Series。 ~~~ # 简单统计指标 import num 阅读全文

posted @ 2022-04-16 14:45 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00047|——————————|BigDataEnd|——|Hadoop&Python.v11|——|Arithmetic.v11|Pandas数据分析库:Pandas数据排序|
摘要:一、数据排序 ### 数据排序 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,30,size = (30,3)), index = list('qwertyuioijhgfcas 阅读全文

posted @ 2022-04-16 14:45 yanqi_vip 阅读(9) 评论(0) 推荐(0) 编辑

|NO.Z.00044|——————————|BigDataEnd|——|Hadoop&Python.v08|——|Arithmetic.v08|Pandas数据分析库:Pandas数据转换|
摘要:一、数据转换:轴和元素替换 ### 轴和元素替换 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,10,size = (10,3)), index = list('ABCDEFHI 阅读全文

posted @ 2022-04-16 14:44 yanqi_vip 阅读(9) 评论(0) 推荐(0) 编辑

|NO.Z.00045|——————————|BigDataEnd|——|Hadoop&Python.v09|——|Arithmetic.v09|Pandas数据分析库:Pandas数据重塑|
摘要:一、数据重塑 ### 数据重塑 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,100,size = (10,3)), index = list('ABCDEFHIJK'), co 阅读全文

posted @ 2022-04-16 14:44 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00043|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|Pandas数据分析库:Pandas数据清洗|
摘要:一、数据清洗 ### 数据清洗 import numpy as np import pandas as pd df = pd.DataFrame(data = {'color': ['red','blue','red','green','blue',None,'red'], 'price':[10, 阅读全文

posted @ 2022-04-16 14:43 yanqi_vip 阅读(8) 评论(0) 推荐(0) 编辑

|NO.Z.00042|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|Pandas数据分析库:Pandas数据集成|
摘要:一、数据集成:pandas 提供了多种将 Series、DataFrame 对象组合在⼀起的功能 ### concat数据串联 ~~~ # concat数据串联 import pandas as pd import numpy as np df1 = pd.DataFrame(data = np.r 阅读全文

posted @ 2022-04-16 14:43 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00040|——————————|BigDataEnd|——|Hadoop&Python.v04|——|Arithmetic.v04|Pandas数据分析库:Pandas数据输入输出|
摘要:一、数据输⼊与输出:csv ### csv import numpy as np import pandas as pd df = DataFrame(data = np.random.randint(0,50,size = [50,5]), # 薪资情况 columns=['IT','化⼯','⽣ 阅读全文

posted @ 2022-04-16 14:42 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00041|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|Pandas数据分析库:Pandas数据选取|
摘要:一、数据选取:获取数据 ### 获取数据 import pandas as pd import numpy as np df = pd.DataFrame(data = np.random.randint(0,150,size = [150,3]), # 计算机科⽬的考试成绩 columns=['P 阅读全文

posted @ 2022-04-16 14:42 yanqi_vip 阅读(25) 评论(0) 推荐(0) 编辑

|NO.Z.00038|——————————|BigDataEnd|——|Hadoop&Python.v02|——|Arithmetic.v02|Pandas数据分析库:Pandas数据结构|
摘要:一、pandas数据分析库 ### pandas数据分析库 ~~~ Python在数据处理和准备⽅⾯⼀直做得很好,但在数据分析和建模⽅⾯就差⼀些。 ~~~ pandas帮助填补了这⼀空⽩,使您能够在Python中执⾏整个数据分析⼯作流程, ~~~ ⽽不必切换到更特定于领域的语⾔,如R。 ~~~ 与出 阅读全文

posted @ 2022-04-16 14:41 yanqi_vip 阅读(20) 评论(0) 推荐(0) 编辑

|NO.Z.00039|——————————|BigDataEnd|——|Hadoop&Python.v03|——|Arithmetic.v03|Pandas数据分析库:Pandas数据查看|
摘要:一、数据查看 ### 查看DataFrame的常⽤属性和DataFrame的概览和统计信息 import numpy as np import pandas as pd ### 创建 shape(150,3)的⼆维标签数组结构DataFrame df = pd.DataFrame(data = np 阅读全文

posted @ 2022-04-16 14:41 yanqi_vip 阅读(31) 评论(0) 推荐(0) 编辑

|NO.Z.00037|——————————|^^ 配置 ^^|——|Hadoop&Python.v01|——|Arithmetic.v01|Pandas数据分析库:Pandas模块安装|
摘要:一、Pandas模块安装 ### 在windows.dos下安装pandas C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数 Installing collec 阅读全文

posted @ 2022-04-16 14:40 yanqi_vip 阅读(29) 评论(0) 推荐(0) 编辑

|NO.Z.00036|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:40 yanqi_vip 阅读(16) 评论(0) 推荐(0) 编辑

|NO.Z.00034|——————————|BigDataEnd|——|Hadoop&Python.v12|——|Arithmetic.v12|NumPy科学计算库:NumPy线性代数|
摘要:一、线性代数:矩阵乘积 ### 矩阵的乘积 A = np.array([[4,2,3], [1,3,1]]) # shape(2,3) B = np.array([[2,7], [-5,-7], [9,3]]) # shape(3,2) np.dot(A,B) # 矩阵运算 A的最后⼀维和B的第⼀维 阅读全文

posted @ 2022-04-16 14:39 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00035|——————————|BigDataEnd|——|Hadoop&Python.v13|——|Arithmetic.v13|NumPy科学计算库:NumPy分析鸢尾花花萼属性各项指标|
摘要:一、实战-⽤NumPy分析鸢尾花花萼属性各项指标 ### 案列:读取iris数据集中的花萼⻓度数据(已保存为csv格式) ~~~ 并对其进⾏排序、去重,并求出和、累积和、均值、标准差、⽅差、最⼩值、最⼤值。 import numpy as np # 导⼊类库 numpy data = np.load 阅读全文

posted @ 2022-04-16 14:39 yanqi_vip 阅读(97) 评论(0) 推荐(0) 编辑

|NO.Z.00033|——————————|BigDataEnd|——|Hadoop&Python.v11|——|Arithmetic.v11|NumPy科学计算库:NumPy通用函数|
摘要:一、通⽤函数:元素级数字函数 ### abs、sqrt、square、exp、log、sin、cos、tan,maxinmum、minimum、all、any、inner、clip、round、trace、ceil、floor import numpy as np arr1 = np.array([ 阅读全文

posted @ 2022-04-16 14:38 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00032|——————————|BigDataEnd|——|Hadoop&Python.v10|——|Arithmetic.v10|NumPy科学计算库:NumPy广播机制|
摘要:一、⼴播机制 ### ⼴播机制 ~~~ 当两个数组的形状并不相同的时候,我们可以通过扩展数组的⽅法来实现相加、相减、 ~~~ 相乘等操作,这种机制叫做⼴播(broadcasting) ### ⼀维数组⼴播 import numpy as np arr1 = np.sort(np.array([0,1 阅读全文

posted @ 2022-04-16 14:38 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00030|——————————|BigDataEnd|——|Hadoop&Python.v08|——|Arithmetic.v08|NumPy科学计算库:NumPy索引/切⽚/迭代|
摘要:一、索引、切⽚和迭代:基本索引和切⽚ ### numpy中数组切⽚是原始数组的视图,这意味着数据不会被复制,视图上任何数据的修改都会反映到原数组上 arr = np.array([0,1,2,3,4,5,6,7,8,9]) arr[5] # 索引 输出 5 arr[5:8] # 切⽚输出:array 阅读全文

posted @ 2022-04-16 14:37 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00031|——————————|BigDataEnd|——|Hadoop&Python.v09|——|Arithmetic.v09|NumPy科学计算库:NumPy形状操作|
摘要:一、形状操作 ### 数组变形 import numpy as np arr1 = np.random.randint(0,10,size = (3,4,5)) arr2 = arr1.reshape(12,5) # 形状改变,返回新数组 arr3 = arr1.reshape(-1,5) # ⾃动 阅读全文

posted @ 2022-04-16 14:37 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00028|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|NumPy科学计算库:NumPy数组运算|
摘要:一、数组运算 ### 加减乘除幂运算 import numpy as np arr1 = np.array([1,2,3,4,5]) arr2 = np.array([2,3,1,5,9]) arr1 - arr2 # 减法 arr1 * arr2 # 乘法 arr1 / arr2 # 除法 arr 阅读全文

posted @ 2022-04-16 14:36 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00029|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|NumPy科学计算库:NumPy复制视图|
摘要:一、复制和视图:在操作数组时,有时会将其数据复制到新数组中,有时不复制。有以下三种情况 ### 完全没有复制 import numpy as np a = np.random.randint(0,100,size = (4,5)) b = a a is b # 返回True a和b是两个不同名字对应 阅读全文

posted @ 2022-04-16 14:36 yanqi_vip 阅读(20) 评论(0) 推荐(0) 编辑

|NO.Z.00026|——————————|BigDataEnd|——|Hadoop&Python.v04|——|Arithmetic.v04|NumPy科学计算库:NumPy数组创建|
摘要:一、NumPy科学计算库 ### Po,功夫熊猫中阿宝。勤加练习,你就所向披靡! ~~~ NumPy(Numerical Python)是Python的⼀种开源的数值计算扩展。 ~~~ 提供多维数组对象,各种派⽣对象(如掩码数组和矩阵),这种⼯具可⽤来存储和处理⼤型矩阵, ~~~ ⽐Python⾃身 阅读全文

posted @ 2022-04-16 14:35 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.Z.00027|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|NumPy科学计算库:NumPy数据类型|
摘要:一、数据类型 ### ndarray的数据类型: int: int8、uint8、int16、int32、int64 float: float16、float32、float64 str ### array创建时,指定 import numpy as np np.array([1,2,5,8,2], 阅读全文

posted @ 2022-04-16 14:35 yanqi_vip 阅读(10) 评论(0) 推荐(0) 编辑

|NO.Z.00024|——————————|^^ 配置 ^^|——|Hadoop&Python.v02|——|Arithmetic.v02|Jupyter交互程序:Jupyter插件配置|
摘要:一、指定默认启动目录 ### 查看jupyter_noteboot_config.py配置文件所在地址 C:\Users\Administrator>jupyter notebook --generate-config Overwrite C:\Users\Administrator\.jupyte 阅读全文

posted @ 2022-04-16 14:34 yanqi_vip 阅读(35) 评论(0) 推荐(0) 编辑

|NO.Z.00025|——————————|^^ 配置 ^^|——|Hadoop&Python.v03|——|Arithmetic.v03|NumPy科学计算库:NumPy模块安装|
摘要:一、NumPy科学计算库 ### 安装numpy模块 C:\Users\Administrator>pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数: Successfully installed numpy- 阅读全文

posted @ 2022-04-16 14:34 yanqi_vip 阅读(150) 评论(0) 推荐(0) 编辑

|NO.Z.00023|——————————|^^ 配置 ^^|——|Hadoop&Python.v01|——|Arithmetic.v01|Jupyter交互程序:Jupyter库安装|
摘要:一、安装jupyter库 ### 查看pip版本 C:\Users\Administrator>pip --version pip 21.2.4 from D:\JAVA\Python310\lib\site-packages\pip (python 3.10) ### 在windows.dos下安 阅读全文

posted @ 2022-04-16 14:33 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00022|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:32 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.Z.00020|——————————|BigDataEnd|——|Hadoop&Python.v20|——|Arithmetic.v20|语法:进阶&面向对象.V2|
摘要:一、面向对象 ### 面向对象基本概念 ~~~ # 面向过程: ~~~ 根据业务逻辑从上到下写代码。 ~~~ # 面向对象: ~~~ 将变量与函数、属性绑定到一起,分类进行封装,每个程序只要负责分配给自己的功能, ~~~ 这样能够更快速的开发程序,减少了重复代码。 ~~~ 我们在前面写的代码都是面向 阅读全文

posted @ 2022-04-16 14:31 yanqi_vip 阅读(18) 评论(0) 推荐(0) 编辑

|NO.Z.00021|——————————|BigDataEnd|——|Hadoop&Python.v21|——|Arithmetic.v21|语法:进阶&模块和包管理.V3|
摘要:一、模块和包管理 ### 模块和包管理 ~~~ Python中具有丰富的标准库和第三方库,学习并掌握模块、包的概念尤为重要, ~~~ 决定了我们是否能够利用这些丰富的资源,以及如何妥善组织好我们自己的代码。 一、模块的导入 ~~~ # 首先,我们来导入一个内置模块 import math ~~~ # 阅读全文

posted @ 2022-04-16 14:31 yanqi_vip 阅读(25) 评论(0) 推荐(0) 编辑

|NO.Z.00018|——————————|BigDataEnd|——|Hadoop&Python.v18|——|Arithmetic.v18|语法:数据结构&集合set.V5|
摘要:一、集合 set:集合在Python中是一个无序的不重复的序列,一般用来删除重复数据还可以计算交集并集等。 ### 集合的定义 ~~~ # 这两方式都可以定义一个集合 nums = {1, 2, 3, 4, 5} nums = set([1, 2, 3, 4, 5]) ~~~ # 注意,集合是无序的 阅读全文

posted @ 2022-04-16 14:30 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00019|——————————|BigDataEnd|——|Hadoop&Python.v19|——|Arithmetic.v19|语法:进阶&函数.V1|
摘要:一、Python进阶:函数 ### Python进阶:函数 ~~~ 在前面的学习过程中,我们已经接触了很多次函数, ~~~ 现在我们来好好的认识一下这个重要的小伙伴。 ~~~ 函数就是一段可以重复调用的代码在Python中函数是非常重要的概念,在编程中几乎无处不在。 一、函数定义及调用 ### 在P 阅读全文

posted @ 2022-04-16 14:30 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&Python.v16|——|Arithmetic.v16|语法:数据结构&列表list.V3|
摘要:一、列表 list ### 定义列表 ~~~ # 列表可以理解为可变的元组,它的使用方式跟元组差不多,区别就是列表可以动态的增加、修改、删除元素。 ~~~ # 以上方式都可以定义一个列表。注意变量名使用了lst,有意的避开了list,虽然list不是关键字,但我们在命名变量的时候不要使用这些内置名称 阅读全文

posted @ 2022-04-16 14:29 yanqi_vip 阅读(13) 评论(0) 推荐(0) 编辑

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&Python.v17|——|Arithmetic.v17|语法:数据结构&字典dict.V4|
摘要:一、字典 dict ### 类似这种销售信息的数据结构,我们使用元组或者列表存储是可以的。 top_sales = [('Peter', 213), ('John', 253), ('Tony', 284), ('Henry', 205), ('Mike', 280)] ### 可以很方便的取出在这 阅读全文

posted @ 2022-04-16 14:29 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00014|——————————|BigDataEnd|——|Hadoop&Python.v14|——|Arithmetic.v14|语法:数据结构&字符串.V1|
摘要:一、数据结构:字符串 ### 数据结构:字符串 ~~~ 在任何一门编程语言中,字符串都是最基础、最重要的数据结构。 ~~~ 前面我们已经学习过字符串的基本使用方法,现在继续深入的学习更多的知识。 一、字符串的格式化输出: ### 格式化运算符 ~~~ # 在之前while循环的一个例子中, 有这样一 阅读全文

posted @ 2022-04-16 14:28 yanqi_vip 阅读(34) 评论(0) 推荐(0) 编辑

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&Python.v15|——|Arithmetic.v15|语法:数据结构&元组tuple.V2|
摘要:一、元组 tuple:定义元组 ~~~ # 现在我们知道了字符串是一种序列,它可以迭代循环,也可以按索引访问,也可以切片访问。但它的组成只能是单个的字符,现在来介绍一种更多元化的序列:元组,英文叫tuple,可这样来定义一个元组: t = ('My', 'age', 'is', 18) ~~~ # 阅读全文

posted @ 2022-04-16 14:28 yanqi_vip 阅读(25) 评论(0) 推荐(0) 编辑

|NO.Z.00013|——————————|BigDataEnd|——|Hadoop&Python.v13|——|Arithmetic.v13|语法:核心语法&流程控制.V3|——|智能密码锁|
摘要:一、编程实现:智能密码锁程序 ### 编程实现:智能密码锁程序 ~~~ 最近几年很流行的智能密码锁程序,除了可以用指纹开锁、人脸识别开锁外, ~~~ 都会有密码开锁的功能,以防万一。 ~~~ 密码开锁功能是这样的,首先设定好密码, ~~~ 以后每次开锁的时候只要输入的数字中含有设定的密码,就视为解锁 阅读全文

posted @ 2022-04-16 14:27 yanqi_vip 阅读(37) 评论(0) 推荐(0) 编辑

|NO.Z.00012|——————————|BigDataEnd|——|Hadoop&Python.v12|——|Arithmetic.v12|语法:核心语法&流程控制.V2|——|循环|
摘要:一、循环 ### 循环 ~~~ 看到循环我们首先会想到一些物体,比如旋转的风扇、车轮,一个圆的形状。 ~~~ 一个圆形的跑道,如果沿着它跑,除非我们自己停下来,永远不会有终点, ~~~ 但是可以计算我们跑了多少圈。 ~~~ 假设我们在跑步之前,给自己设定一个目标,跑完10圈就不跑了, ~~~ 然后去 阅读全文

posted @ 2022-04-16 14:27 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&Python.v10|——|Arithmetic.v10|语法:核心语法&运算符.V2|
摘要:一、使用算术运算符操作字符串 ### 对,没有看错,字符串在Python中也可以“运算”,有两种操作,我们先看看加法。 print("Hello " + "world") ### 加号可以将两个字符串拼接成一个字符串,也可以将多个字符串拼接在一起: print("apple " + "apple " 阅读全文

posted @ 2022-04-16 14:26 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&Python.v11|——|Arithmetic.v11|语法:核心语法&流程控制.V1|——|条件判断|
摘要:一、流程控制 ### 流程控制 ~~~ 经过前面三个小节的学习,我们已经对Python编程语言有了一个初步的了解。 ~~~ 如果说Python是一条蟒蛇,变量、数据类型、运算符就是它的肌肉和骨架, ~~~ 而流程控制相当于它的神经系统,掌握了流程控制知识,就可以让Python灵活的游动起来。 ~~~ 阅读全文

posted @ 2022-04-16 14:26 yanqi_vip 阅读(20) 评论(0) 推荐(0) 编辑

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&Python.v08|——|Arithmetic.v08|语法:核心语法&数据类型转换.V2|
摘要:一、数据类型转换 ### 布尔值转换 ~~~ 要想把其他值转换为布尔值,需要使用一个内置函数bool(), ~~~ 我们在控制台按顺序输入以下的代码:关于函数的概念我们在后面的课程中会学习, ~~~ Python的内置函数有很多,我们也会一一学习。 ~~~ # 以下值都为True bool(1) b 阅读全文

posted @ 2022-04-16 14:25 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&Python.v09|——|Arithmetic.v09|语法:核心语法&运算符.V1|
摘要:一、运算符:算数运算符:算术运算符:Python中进行数值运算需要的符号如下,我们来一一学习一下。 运算符 描述 实例 + 加 1 + 1; a + b - 减 10 - 5; a - b -c * 乘 4 * 2 相当 4 × 2 / 除 4 / 2 相当于 4 ÷ 2 // 取整除 10 // 阅读全文

posted @ 2022-04-16 14:25 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|语法:交互式编程|
摘要:一、交互式编程 ### 交互式编程 ~~~ 在上面的步骤中,我们输入了一行代码,按回车键后, ~~~ 将代码提交给了Python内置的解释器,解释器运行了代码后,将运行结果打印在了控制台上, ~~~ 这种一次输入对应一次输出的形式,我们称之为交互式编程。 ~~~ 试试将Hello world 案例中 阅读全文

posted @ 2022-04-16 14:24 yanqi_vip 阅读(23) 评论(0) 推荐(0) 编辑

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|语法:核心语法&变量.V1|
摘要:一、 核心语法:变量 ### 变量的定义 ~~~ 变量就是可变的量,对于一些有可能会经常变化的数据,我们需要使用一个符号, ~~~ 这样才能计算中使用它,就像我们在小学时学过的一元方程中的"x"一样。 ~~~ 比如说,我们在控制台内输入: ~~~ 这样我们就新定义了一个变量,它的值是"world", 阅读全文

posted @ 2022-04-16 14:24 yanqi_vip 阅读(31) 评论(0) 推荐(0) 编辑

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|语法:核心语法&数据类型.V1|
摘要:一、数据类型 ### 数据类型 ~~~ 如果有学习过其他编程语言的同学, ~~~ 可能在学习变量的时候就会想问,在Python中定义一个变量的时候,怎么没有先声明它的类型呢? ~~~ 这正是Python的简洁高效之处。变量在Python中是不区分类型的, ~~~ 但它的值有类型,不同的值有不同的类型 阅读全文

posted @ 2022-04-16 14:24 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.Z.00003|——————————|^^ 配置 ^^|——|Hadoop&Python.v03|——|Arithmetic.v03|基础|Python310安装.V1|
摘要:一、Python310安装配置 1、下载地址:https://www.python.org/ftp/python/3.10.1/python-3.10.1-amd64.exe 2、自定义安装 3、自定义插件安装 4、更改安装目录 5、安装成功 二、配置环境变量: 1、配置系统环境变量:配置Pytho 阅读全文

posted @ 2022-04-16 14:23 yanqi_vip 阅读(14) 评论(0) 推荐(0) 编辑

|NO.Z.00004|——————————|^^ 配置 ^^|——|Hadoop&Python.v04|——|Arithmetic.v04|基础:PyCharm.20200205安装.V2|
摘要:一、PyCharm.20200205安装 1、下载地址: https://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC 2、安装PyCharm.20200205 3、更改安装目录 4 阅读全文

posted @ 2022-04-16 14:23 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示