摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Pandas模块安装 ### 在windows.dos下安装pandas C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ # 输出参数 Installing col
阅读全文
摘要:一、Matplotlib模块安装 ### 在windows.dos下安装Matplotlib C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ # 输出参数 Instal
阅读全文
摘要:一、指定默认启动目录 ### 查看jupyter_noteboot_config.py配置文件所在地址 ~~~ # 查看jupyter_noteboot_config.py配置文件所在地址 C:\Users\Administrator>jupyter notebook --generate-conf
阅读全文
摘要:一、NumPy科学计算库 ### 安装numpy模块 C:\Users\Administrator>pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ # 输出参数: Successfully installed num
阅读全文
摘要:一、PyCharm.20200205安装 ### 下载地址: ~~~ https://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC 2、安装PyCharm.20200205 3、更改
阅读全文
摘要:一、安装jupyter库 ### 查看pip版本 C:\Users\Administrator>pip --version pip 21.2.4 from D:\JAVA\Python310\lib\site-packages\pip (python 3.10) ### 在windows.dos下安
阅读全文
摘要:一、Python310安装配置 1、下载地址:https://www.python.org/ftp/python/3.10.1/python-3.10.1-amd64.exe 2、自定义安装 3、自定义插件安装 4、更改安装目录 5、安装成功 二、配置环境变量: 1、配置系统环境变量:配置Pytho
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Logstash读取Kafka ### Logstash配置文件 ~~~ 官网地址:https://www.elastic.co/guide/en/logstash/7.3/plugins-inputs-kafka.html ### 上传IP地址库 ~~~ # 上传IP地址库到Datas目录下
阅读全文
摘要:一、日志分析平台实战 一、Nginx部署 ### 安装git工具,安装wget下载工具 ~~~ # 安装相关工具包:Hadoop02 [root@hadoop02 ~]# yum install wget git -y [root@hadoop02 ~]# yum install gcc-c++ -
阅读全文
摘要:一、Filebeat ### Filebeat ~~~ Filebeat主要是为了解决Logstash工具比较消耗资源比较重的问题, ~~~ 因为Logstash是Java语言编写, ~~~ 所以官方推出了一些轻量级的采集工具,推出了Beats系列,其中使用比较广泛的是Filebeat。 ~~~ 官
阅读全文
摘要:一、filter插件 ### Filter插件 ~~~ Logstash之所以强悍的主要原因是filter插件; ~~~ 通过过滤器的各种组合可以得到我们想要的结构化数据。 ~~~ 官网地址:https://www.elastic.co/guide/en/Logstash/current/plugi
阅读全文
摘要:一、Output插件:标准输出到控制台 ### 标准输出到控制台 ~~~ # 将收集的数据直接打印到控制台 [root@hadoop02 ~]# /opt/yanqi/servers/es/Logstash/bin/logstash \ -e 'input{stdin{}}output{stdout
阅读全文
摘要:一、Logstash ### Logstash介绍及安装 ~~~ 官网:https://www.elastic.co/guide/index.html ~~~ Logstash:https://www.elastic.co/guide/en/logstash/current/index.html #
阅读全文
摘要:一、Input插件部署 ### Input插件部署 ~~~ stdin标准输入和stdout标准输出 ### 使用标准的输入与输出组件 ~~~ # 使用标准的输入与输出组件,实现将我们的数据从控制台输入,从控制台输出 [root@hadoop02 ~]# /opt/yanqi/servers/es/
阅读全文
摘要:一、词典使用 ### 词典使用 ~~~ # 扩展词: ~~~ 就是不想让哪些词被分开,让他们分成一个词。比如上面的江大桥 ~~~ # 停用词: ~~~ 有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。 ~~~ 例如英文的a、an、the、of等。或中文的”的、了、呢等”。这样的词称
阅读全文
摘要:一、安装IK分词器 ### 安装IK分词器 ~~~ # hadoop01~03:使用root用户部署IK分词器,然后重启ES服务 ~~~ # 在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录 [root@hadoop02 ~]# mkdir /opt/ya
阅读全文
摘要:一、部署kibana服务 ### 下载kibana版本包 ~~~ # 下载kibana服务版本包:使用root用户部署 [root@hadoop02 software]# wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.3
阅读全文
摘要:一、安装elasticsearch-head插件 ### Elasticsearch Head插件介绍及安装和验证主从环境 ~~~ Elasticsearch Head插件介绍及安装 ### elasticsearch-head 简介 ~~~ elasticsearch-head是一个界面化的集群操
阅读全文
摘要:一、ElasticSearch-head:谷歌浏览其插件方式安装:测试环境推荐使用 ### ElasticSearch-head:谷歌浏览其插件方式安装:# 测试环境推荐使用 ~~~ Elasticsearch 5之后则需要将elasticsearch-head服务单独运行, ~~~ 并且支持Chr
阅读全文
摘要:一、简单使用es ### 创建blog01索引 ~~~ # 创建blog01索引:若是返回是true,说明创建索引是成功的 [root@hadoop01 ~]# curl -XPUT http://hadoop01:9200/blog01/?pretty ~~~输出参数 { "acknowledge
阅读全文
摘要:一、Elasticsearch 集群环境准备 ### hadoop01~03修改系统配置:修改/etc/sysctl.conf ~~~ # 修改/etc/sysctl.conf [root@hadoop01 ~]# vim /etc/sysctl.conf ~~~在文件末尾添加如下参数 vm.max
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Elasticsearch Single-Node Mode部署 ### Elasticsearch Single-Node Mode部署 ~~~ Elasticsearch是一个分布式全文搜索引擎, ~~~ 支持单节点模式(Single-Node Mode)和集群模式(Cluster Mode
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Druid 部署 ### 下载Druid版本包并解压版本包 ~~~ # 下载 Druid 安装包、并解压缩: ~~~ # Druid官网:https://druid.apache.org/ [root@hadoop01 ~]# cd /opt/yanqi/software/ ~~~ # 官网源下
阅读全文
摘要:一、集群部署 ### 环境资源说明 ~~~ 虚拟机每个节点2core、3G ~~~ DeepStorage:Hadoop 2.9.2 ### 部署规划:集群部署采用的分配如下 ~~~ 主节点部署 Coordinator 和 Overlord进程 ~~~ 数据节点运行 Historical 和 Mid
阅读全文
摘要:一、使用JDBC连接操作Kylin ### 使用JDBC连接操作Kylin ~~~ 要将数据以可视化方式展示出来,需要使用Kylin的JDBC方式连接执行SQL,获取Kylin的执行结果 ~~~ 使用Kylin的JDBC与JDBC操作MySQL一致 ~~~ jdbc url:jdbc:kylin:/
阅读全文
摘要:一、OLAP环境准备 ### OLAP环境准备 ~~~ # 进入服务部署目录 [root@hadoop02 ~]# cd /opt/yanqi/servers/ ~~~ # coordinator [root@hadoop02 servers]# cp -r kylin-3.1.1/ kylin-3
阅读全文
摘要:一、高可用配置:spark standalone集群配置 ### 修改 spark-env.sh 文件,并分发到集群中 [root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh # export SPARK_MASTER_HOST=hadoop01 #
阅读全文
摘要:一、Kylin安装环境准备:依赖环境 软件 版本 Hive 2.3.7 Hadoop 2.9.2 HBase 1.3.1 Zookeeper 3.4.14 Kafka 1.0.2 Spark 2.4.5 二、集群规划 server Hadoop01 hadoop02 hadoop03 HDFS Na
阅读全文
摘要:一、集群模式--Standalone模式 ### 检查集群状态 ~~~ # 启动服务 [root@hadoop01 ~]# start-dfs.sh [root@hadoop01 ~]# start-yarn.sh [root@hadoop01 ~]# start-all-spark.sh ~~~
阅读全文
摘要:一、History Server配置 ### History Server ~~~ # 配置服务的history server:spark-defaults.conf [root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-defaults.conf # hist
阅读全文
摘要:一、spark安装 ### 下载软件解压缩, ~~~ # 下载spark版本包 [root@hadoop01 software]# wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoo
阅读全文
摘要:一、HBase shell 基本操作 ### 进入Hbase客户端命令操作界面 ~~~ # 进入hbase客户端 [root@hadoop01 ~]# hbase shell ~~~ # 查看帮助命令 hbase(main):004:0> help ~~~ # 查看当前数据库有哪些表 hbase(m
阅读全文
摘要:一、安装和运行 ### 安装前提和准备 ~~~ # 硬件: ~~~ 一台或者多台机器跑kudu-master。 ~~~ 建议跑一个master(无容错机制)、 ~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 ~~~ 一台或者多台机器跑kudu-tserve
阅读全文
摘要:一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.121 Hadoop02 192.168.1.122 Hadoop03 192.168.1.123 一、部署kafka集群:配置hosts文件 ### 以上三台主机的/e
阅读全文
摘要:一、HBase集群安装部署 ### 下载安装包 ~~~ # 下载HBase版本包 [root@hadoop01 software]# wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz ### 解压安装包到指定
阅读全文
摘要:一、ClickHouse链接Kafka ### ClickHouse链接Kafka:此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性: ~~~ 发布或者订阅数据流。 ~~~ 容错存储机制。 ~~~ 处理流数据。 ### 链接语法格式 ~~~ # 老版格式: Kafka(k
阅读全文
摘要:一、JDBC ### ClickHouse链接JDBC ~~~ 允许CH通过 JDBC 连接到外部数据库。 ~~~ 要实现JDBC连接,CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 ~~~ 该引擎支持 Nullable 数据类型。 ### 建表语法 CREATE
阅读全文
摘要:一、ClickHouse链接mysql ### mysql说明 ~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。 ### 调用格式: MySQL('host:port', 'database', 'table', 'user', 'password'[,
阅读全文
摘要:一、JBOD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行:</y
阅读全文
摘要:一、HOT/COLD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行
阅读全文
摘要:一、HDFS ### HDFS ~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎,但提供Hadoop特定的功能。 ### 用途 ~~~ 该 URI 参数是HDFS中的整个文件URI。
阅读全文
摘要:一、MergeTree存储策略配置 ### 整体配置:配置mergetree存储配置方案 ~~~ 所有主机创建mergetree存储目录 [root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata [root@hadoop01 ~]
阅读全文
摘要:一、ClickHouse下载 ### 下载地址 ~~~ 官网:https://clickhouse.yandex/ ~~~ 下载地址:http://repo.red-soft.biz/repos/clickhouse/stable/el6/ 二、ClickHouse单击模式安装 ### 单机模式:h
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、安装ntp服务 ### 安装ntp服务 ~~~ # hadoop01、hadoop02、hadoop03安装ntp服务: [root@hadoop01 ~]# yum -y install ntp ### 配置文件修改 ~~~ # 修改ntp.conf配置文件:hadoop01、hadoop02
阅读全文
摘要:附录一:Mapreduce内存参数调整一: ### 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数
阅读全文
摘要:一、Zookeeper环境搭建:HA模式 ### 下载并解版本包 [root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@h
阅读全文
摘要:附录一:报错处理一: ### 报错现象: ~~~ 卡在这个位置不会动,数据没有加载 ~~~ 在执行这个的时候,把history打开,用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Flink.Yarn模式部署 ### 启动一个YARN session(Start a long-running Flink cluster on YARN); ~~~ 方式一:yarn session启动 ~~~ 方式二:per job方式启动 二、YARN Session方式:Flink.y
阅读全文
摘要:一、方式一:Per job方式 ### 方式一:Per job方式 ~~~ 直接在YARN上提交运行Flink作业(Run a Flink job on YARN) ~~~ Per job启动流程 二、Per job方式启动实例 ### 启动一个应用实例 ### 在yarn-cluster-UI下查
阅读全文
摘要:一、在IDEA下导入打jar插件 ### 将WordCountScalaStream打成jar包 ~~~ 注意:集群搭建完毕后,Flink程序就可以打成Jar, ~~~ 在集群环境下类似于Step7中一样提交执行计算任务打jar包插件: ~~~ 该插件可以把包含所有的Flink程序需要的所有的依赖文
阅读全文
摘要:一、Redis单机版安装和使用 ### 安装C 语言需要的GCC 环境 [root@hadoop ~]# yum install -y gcc-c++ [root@hadoop ~]# yum install -y wget ### 下载并解压缩Redis 源码压缩包 [root@hadoop so
阅读全文
摘要:一、Flink安装和部署 ### Flink支持多种安装模式 ~~~ local(本地):单机模式,一般本地开发调试使用 ~~~ StandAlone 独立模式:Flink自带集群,自己管理资源调度,生产环境也会有所应用 ~~~ Yarn模式:计算资源统一由Hadoop YARN管理,生产环境应用较
阅读全文
摘要:一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.121 Hadoop02 192.168.1.122 Hadoop03 192.168.1.123 一、部署kafka集群:配置hosts文件 ### 以上三台主机的/e
阅读全文
摘要:一、部署kafka-eagle:开启kafka节点的JMX ### 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Hive安装配置 ### 环境准备 ~~~ Hive官网:http://hive.apache.org ~~~ 下载网址:http://archive.apache.org/dist/hive/ ~~~ 文档网址:https://cwiki.apache.org/confluence/displ
阅读全文
摘要:一、metastore远程模式配置规划: 节点 metastore client Hadoop01 √ Hadoop02 √ Hadoop03 √ 二、配置并启动HiveServer服务 ### 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop03并配置 [root@h
阅读全文
摘要:附录一:报错处理一: ### 报错现象: ~~~ 卡在这个位置不会动,数据没有加载 ~~~ 在执行这个的时候,把history打开,用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r
阅读全文
摘要:附录一:Mapreduce内存参数调整一: # 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数 --
阅读全文
摘要:一、配置历史服务器 ### 在Yarn中运行的任务产生的日志数据不能查看, ~~~ 为了查看程序的历史运行情况,需要配置一下历史日志服务器。具体配置步骤如下: ### 配置mapred-site.xml [root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop
阅读全文
摘要:一、启动HDFS集群 ### 启动集群注意事项 ~~~ # 注意:如果集群是第一次启动,需要在Namenode所在节点格式化NameNode, ~~~ # 非第一次不用执行格式化Namenode操作!! 二、单节点启动:格式化NameNode ### 单节点启动 ~~~ # 所有节点执行 [root
阅读全文
摘要:一、集群测试 ### HDFS 分布式存储初体验 ~~~ 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ HDFS访问地址:http://hadoop01:50070/ ~~~ # 本地hoome目录创建一个文件 [root@hadoop01 ~]# vim test.txt
阅读全文
摘要:一、集群配置 ### # Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ### # HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS(修改hadoop-env.sh) ~~~ 指定NameNode节点以及数据存储目录(修改core-site
阅读全文
摘要:一、分发配置:rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和scp区别:用rsync做文件的复制要比scp的速度快,r
阅读全文
摘要:一、集群规划 hadoop1 hadoop2 hadoop3 NameNode √ SecondaryNameNode √ DataNode √ √ √ ResourceManager √ DataManager √ √ √ Hive √ √ √ HiveServer2 √ 二、HDFS和YARN集
阅读全文
摘要:一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写,需要java环境(jvm) ~~~ JDK版本:JDK8版本 ### 集群: ~~~ 知识点学习:统一使用vmware虚拟机虚拟五台linux节点,linux操作系统:Ce
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本:VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本:CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU:
阅读全文
摘要:一、Redis单机版安装和使用 ### 安装C 语言需要的GCC 环境 [root@hadoop ~]# yum install -y gcc-c++ [root@hadoop ~]# yum install -y wget ### 下载并解压缩Redis 源码压缩包 [root@hadoop so
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.111 Hadoop02 192.168.1.122 Hadoop03 192.168.1.133 一、部署kafka集群:配置hosts文件 ### 以上三台主机的/e
阅读全文
摘要:一、部署kafka-eagle:开启kafka节点的JMX ### 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、zookeeper集群启动 ### zookeeper集群启动 ~~~ # 在三台Linux上启动Zookeeper [root@hadoop01 ~]# zkServer.sh start [root@hadoop02 ~]# zkServer.sh start [root@hadoop03
阅读全文
摘要:一、Zookeeper环境搭建:HA模式 ### 下载并解版本包 [root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@h
阅读全文
摘要:一、PB级别企业电商离线仓库:部署规划 IP地址 主机名 第一台机器 192.168.1.121 Hadoop01 第二台机器 192.168.1.122 Hadoop02 第三台机器 192.168.1.123 Hadoop03 ### 软件选型 ~~~ 数据采集:DataX、Flume、Sqoo
阅读全文
摘要:一、配置主机时间同步: ### 查看当前服务端和客户端版本一致 [root@localhost ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) 二、ntp.server端配置:hadoop01 ### 进行外网时间同步
阅读全文
摘要:一、安装ntp服务 ### 安装ntp服务 ~~~ # hadoop01、hadoop02、hadoop03安装ntp服务: [root@hadoop01 ~]# yum -y install ntp ### 配置文件修改 ~~~ # 修改ntp.conf配置文件:hadoop01、hadoop02
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name:prome
阅读全文
摘要:一、修改flink配置,开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下:/opt/yanqi
阅读全文
摘要:一、通过grafana工具监控,可视化效果友好: ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a
阅读全文
摘要:一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包,主机是centos系统;因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz , [root@hadoop00 s
阅读全文
摘要:一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具,使用它的原因主要是: ~~~ Prometheus 采用 pull 模式,可能由于不在一个子网或者防火墙原因, ~~~ 导致 Prometheus 无法直接
阅读全文
摘要:一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能:在业务层用作埋点系统 ~~~ Prometheus支持多种语言(Go,java,python,ruby官方提供客户端, ~~~ 其他语言有第三方开源客户端)。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下
阅读全文
摘要:一、prometheus部署:安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的,所以首先安装一个go环境,Go语言是跨平台,支持Windows、Linux、 ~~~ # Windows :go1.8.3.windows-amd64.msi (7
阅读全文
摘要:一、Canal 安装说明 ### 单机模式,也可以将Canal搭建集群模式。 ~~~ 如果要搭建集群模式,可将Canal目录分发给其他虚拟机,然后在各节点中分别启动Canal。 ~~~ 这种Zookeeper为观察者监控的模式, ~~~ 只能实现高可用,而不是负载均衡, ~~~ 即同一时间点只有一个
阅读全文
摘要:一、Kafka客户端测试 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yan
阅读全文
摘要:一、Flume配置文件: ### flume配置文件:event-conf.properties ~~~ # 写入Flume配置文件:event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/ev
阅读全文
摘要:一、业务数据库表结构 ### 业务数据库:数据源 ~~~ 交易订单表(yanqi_trade_orders) ~~~ 订单产品表(yanqi_order_product) ~~~ 产品信息表(yanqi_product_info) ~~~ 产品分类表(yanqi_product_category)
阅读全文
摘要:一、配置MySQL的binlog ### 常见的binlog命令 ~~~ # 是否启用binlog日志 mysql> show variables like 'log_bin'; + + + | Variable_name | Value | + + + | log_bin | ON | + + +
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、数据可视化 ### 数据可视化 ~~~ ADS => DataX => MySQL => 浏览器呈现 ~~~ 对统计数据进行展示一般都是以图、表方式呈现; ~~~ 常见方式有 ECharts、HighCharts、G2、Chart.js 、FineBI等。 ~~~ 本项目使用SSM(Spring
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Griffin编译准备 ### 软件解压缩 [root@hadoop02 ~]# ls /opt/yanqi/software/griffin-griffin-0.5.0.zip /opt/yanqi/software/griffin-griffin-0.5.0.zip [root@hadoop
阅读全文
摘要:一、与电商业务集成 ### 数据资产:单击右上角的 DataAssets 来检查数据资产 ~~~ 这里的数据数据资产主要是保存在Hive上的表,要求 Hive Metastore 服务正常 ### 创建 measure ~~~ 如果要测量源和目标之间的匹配率,请选择 Accuracy(精确度验证)
阅读全文
摘要:一、与电商业务集成 ### 电商业务集成环境准备 ~~~ 开发(建库、建表) => 导入数据 => 执行Hive脚本 ~~~ 导入Hive的血缘关系 二、电商业务建表 ### 电商业务建表语句(可省略): ~~~ # 创建DataBases; CREATE DATABASE ODS; CREATE
阅读全文
摘要:一、安装概述 ### 相关依赖:重点讲解 Griffin,不对依赖组件做过多讲解,所有组件均采用单机模式安装。 ~~~ JDK (1.8 or later versions) ~~~ MySQL(version 5.6及以上) ~~~ Hadoop (2.6.0 or later) ~~~ Hive
阅读全文
摘要:一、安装环境准备 ### 安装概述说明 ~~~ 重点讲解Atlas,不对Atlas的依赖组件做讲解,组件均采用单机模式安装。 ~~~ 编译才能安装。 ### 安装依赖 ~~~ Maven 3.6.3(完成) ~~~ HBase 1.1.2(不需要安装,需要软件包) ~~~ Solr 5.5.1(不需
阅读全文
摘要:一、Hive血缘关系导入 ### 配置HIVE_HOME环境变量; ~~~ 将atlas服务下atlas-application.properties配置文件拷贝到hive服务目录下 ~~~ # 创建软连接: ~~~ 将 $ATLAS_HOME/conf/atlasapplication.prope
阅读全文
摘要:一、Airflow核心概念 ### Airflow核心概念 ~~~ DAGs:有向无环图(Directed Acyclic Graph),将所有需要运行的tasks按照依赖关系组织起来, ~~~ 描述的是所有tasks执行的顺序; ### Operators:Airflow内置了很多operator
阅读全文
摘要:一、crontab ### Crontab简介 ~~~ Linux 系统则是由 cron (crond) 这个系统服务来控制的。 ~~~ Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。 ~~~ Linux 系统也提供了Linux用户控制计划任务的命令:crontab
阅读全文
摘要:一、Airflow.UI界面概述 ### Airflow.UI界面概述 ~~~ Trigger Dag:人为执行触发 ~~~ Tree View:当dag执行的时候,可以点入,查看每个task的执行状态(基于树状视图)。 ~~~ 状态:success、running、failed、skipped、r
阅读全文
摘要:一、Airflow安装部署 ### 安装依赖 ~~~ CentOS 7.X ~~~ Python 3.5或以上版本(推荐) ~~~ MySQL 5.7.x ~~~ Apache-Airflow 1.10.11 ~~~ 虚拟机可上网,需在线安装包 ~~~ # 备注:后面要安装的三个软件Airflow、
阅读全文
摘要:一、修改时区 ### 修改时区 ~~~ Airflow默认使用UTC时间,在中国时区需要用+8小时。 ~~~ 将UTC修改为中国时区,需要修改Airflow源码。 ### 在修改 $AIRFLOW_HOME/airflow.cfg 文件 (env) [root@hadoop02 ~]# vim /o
阅读全文
摘要:一、DataX概述及安装 ### DataX概述 ~~~ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台, ~~~ 实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、 ~~~ MaxComp
阅读全文
摘要:一、Hive on Tez概述 ### Hive on Tez ~~~ Hortonworks在2014年左右发布了Stinger Initiative, ~~~ 并进行社区分享,为的是让Hive支持更多SQL,并实现更好的性能。 ~~~ 让Hive的查询功能更强大。增加类似OVER子句的分析功能,
阅读全文
摘要:一、Hive安装配置 ### 环境准备 ~~~ Hive官网:http://hive.apache.org ~~~ 下载网址:http://archive.apache.org/dist/hive/ ~~~ 文档网址:https://cwiki.apache.org/confluence/displ
阅读全文
摘要:一、metastore远程模式配置规划: 节点 metastore client Hadoop01 √ Hadoop02 √ Hadoop05 √ 二、配置并启动HiveServer服务 ### 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop05并配置 [root@h
阅读全文
摘要:一、安装部署Flume ### 安装部署 ~~~ Flume官网地址:http://flume.apache.org/ ~~~ 文档查看地址:http://flume.apache.org/FlumeUserGuide.html ~~~ 下载地址:http://archive.apache.org/
阅读全文
摘要:一、配置历史服务器 ### 在Yarn中运行的任务产生的日志数据不能查看, ~~~ 为了查看程序的历史运行情况,需要配置一下历史日志服务器。具体配置步骤如下: ### 配置mapred-site.xml [root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop
阅读全文
摘要:一、启动HDFS集群 ### 启动集群注意事项 ~~~ # 注意:如果集群是第一次启动,需要在Namenode所在节点格式化NameNode, ~~~ # 非第一次不用执行格式化Namenode操作!! 二、单节点启动:格式化NameNode ### 单节点启动 ~~~ # 所有节点执行 [root
阅读全文
摘要:一、集群测试 ### HDFS 分布式存储初体验 ~~~ # 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ HDFS访问地址:http://hadoop01:50070/ ~~~ # 本地hoome目录创建一个文件 [root@hadoop01 ~]# vim test.tx
阅读全文
摘要:一、分发配置:rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ # rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和scp区别:用rsync做文件的复制要比scp的速度快
阅读全文
摘要:一、集群规划 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 NameNode √ SecondaryNameNode √ DataNode √ √ √ √ √ ResourceManager √ DataManager √ √ √ √ √ Hive √ √ √ Hi
阅读全文
摘要:一、集群配置 ### Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ~~~ # HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS(修改hadoop-env.sh) ~~~ 指定NameNode节点以及数据存储目录(修改core-site.x
阅读全文
摘要:一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写,需要java环境(jvm) ~~~ JDK版本:JDK8版本 ### 集群: ~~~ 知识点学习:统一使用vmware虚拟机虚拟五台linux节点,linux操作系统:Ce
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本:VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本:CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU:
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、PB级别企业电商离线仓库:部署规划 IP地址 主机名 第一台机器 192.168.1.121 Hadoop01 第二台机器 192.168.1.122 Hadoop02 第三台机器 192.168.1.123 Hadoop03 第四台机器 192.168.1.124 Hadoop04 第五台机器
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、3D图形:三维折线图散点图 import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d.axes3d import Axes3D # 3D引擎 x = np.linspace(0,60,300) y =
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、文本、注释、箭头:常用函数如下: Pyplot函数 API方法 描述 text() mpl.axes.Axes.text() 在Axes对象的任意位置添加文字 xlabel() mpl.axes.Axes.set_xlabel() 为X轴添加标签 ylabel() mpl.axes.Axes.s
阅读全文
摘要:一、常用视图:折线图 import numpy as np import matplotlib.pyplot as plt x = np.random.randint(0,10,size = 15) # 一图多线 plt.figure(figsize=(9,6)) plt.plot(x,marker
阅读全文
摘要:一、风格和样式:颜色、线形、点形、线宽、透明度 import numpy as np import matplotlib.pyplot as plt x = np.linspace(0,2*np.pi,20) y1 = np.sin(x) y2 = np.cos(x) # 设置颜色,线型,点型 pl
阅读全文
摘要:一、多图布局:子视图 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-np.pi,np.pi,50) y = np.sin(x) # 子视图1 plt.figure(figsize=(9,6)) ax = plt
阅读全文
摘要:一、Matplotlib模块安装 ### 在windows.dos下安装Matplotlib C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数 Installin
阅读全文
摘要:一、Matplotlib数据可视化 ### Matplotlib数据可视化 ~~~ pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ 在数据分析与机器学习中,我们经常要用到大量的可视化操作。 ~~~ 一张制作
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、实战-JAVA_BBS数据分析师招聘数据分析 ### 实战-JAVA_BBS数据分析师招聘数据分析 ~~~ 分析⽬标 ~~~ 各城市对数据分析岗位的需求情况 ~~~ 不同细分领域对数据分析岗的需求情况 ~~~ 数据分析岗位的薪资状况 ~~~ ⼯作经验与薪⽔的关系 ~~~ 公司都要求什么掌握什么技
阅读全文
摘要:一、时间序列 ### 时间戳操作 ~~~ # 创建⽅法 pd.Timestamp('2020-8-24 12') # 时刻数据 pd.Period('2020-8-24',freq = 'M') # 时期数据 index = pd.date_range('2020.08.24',periods=5,
阅读全文
摘要:一、数据可视化 ### 数据可视化 ~~~ pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple import numpy as np import pandas as pd ~~~ # 1、线形图 df1 = pd.D
阅读全文
摘要:一、分箱操作 ### 分箱操作 ~~~ # 分箱操作就是将连续数据转换为分类对应物的过程。⽐如将连续的身⾼数据划分为:矮中⾼。 ~~~ # 分箱操作分为等距分箱和等频分箱。 ~~~ # 分箱操作也叫⾯元划分或者离散化。 import numpy as np import pandas as pd d
阅读全文
摘要:一、分组聚合 ### 分组聚合 import numpy as np import pandas as pd ~~~ # 准备数据 df = pd.DataFrame(data = {'sex':np.random.randint(0,2,size = 300), # 0男,1⼥ 'class':n
阅读全文
摘要:一、数学和统计⽅法:简单统计指标 ### 数学和统计⽅法 ~~~ # pandas对象拥有⼀组常⽤的数学和统计⽅法。它们属于汇总统计,对Series汇总计算获取mean、max ~~~ # 值或者对DataFrame⾏、列汇总计算返回⼀个Series。 ~~~ # 简单统计指标 import num
阅读全文
摘要:一、数据排序 ### 数据排序 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,30,size = (30,3)), index = list('qwertyuioijhgfcas
阅读全文
摘要:一、数据转换:轴和元素替换 ### 轴和元素替换 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,10,size = (10,3)), index = list('ABCDEFHI
阅读全文
摘要:一、数据重塑 ### 数据重塑 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,100,size = (10,3)), index = list('ABCDEFHIJK'), co
阅读全文
摘要:一、数据清洗 ### 数据清洗 import numpy as np import pandas as pd df = pd.DataFrame(data = {'color': ['red','blue','red','green','blue',None,'red'], 'price':[10,
阅读全文
摘要:一、数据集成:pandas 提供了多种将 Series、DataFrame 对象组合在⼀起的功能 ### concat数据串联 ~~~ # concat数据串联 import pandas as pd import numpy as np df1 = pd.DataFrame(data = np.r
阅读全文
摘要:一、数据输⼊与输出:csv ### csv import numpy as np import pandas as pd df = DataFrame(data = np.random.randint(0,50,size = [50,5]), # 薪资情况 columns=['IT','化⼯','⽣
阅读全文
摘要:一、数据选取:获取数据 ### 获取数据 import pandas as pd import numpy as np df = pd.DataFrame(data = np.random.randint(0,150,size = [150,3]), # 计算机科⽬的考试成绩 columns=['P
阅读全文
摘要:一、pandas数据分析库 ### pandas数据分析库 ~~~ Python在数据处理和准备⽅⾯⼀直做得很好,但在数据分析和建模⽅⾯就差⼀些。 ~~~ pandas帮助填补了这⼀空⽩,使您能够在Python中执⾏整个数据分析⼯作流程, ~~~ ⽽不必切换到更特定于领域的语⾔,如R。 ~~~ 与出
阅读全文
摘要:一、数据查看 ### 查看DataFrame的常⽤属性和DataFrame的概览和统计信息 import numpy as np import pandas as pd ### 创建 shape(150,3)的⼆维标签数组结构DataFrame df = pd.DataFrame(data = np
阅读全文
摘要:一、Pandas模块安装 ### 在windows.dos下安装pandas C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数 Installing collec
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、线性代数:矩阵乘积 ### 矩阵的乘积 A = np.array([[4,2,3], [1,3,1]]) # shape(2,3) B = np.array([[2,7], [-5,-7], [9,3]]) # shape(3,2) np.dot(A,B) # 矩阵运算 A的最后⼀维和B的第⼀维
阅读全文
摘要:一、实战-⽤NumPy分析鸢尾花花萼属性各项指标 ### 案列:读取iris数据集中的花萼⻓度数据(已保存为csv格式) ~~~ 并对其进⾏排序、去重,并求出和、累积和、均值、标准差、⽅差、最⼩值、最⼤值。 import numpy as np # 导⼊类库 numpy data = np.load
阅读全文
摘要:一、通⽤函数:元素级数字函数 ### abs、sqrt、square、exp、log、sin、cos、tan,maxinmum、minimum、all、any、inner、clip、round、trace、ceil、floor import numpy as np arr1 = np.array([
阅读全文
摘要:一、⼴播机制 ### ⼴播机制 ~~~ 当两个数组的形状并不相同的时候,我们可以通过扩展数组的⽅法来实现相加、相减、 ~~~ 相乘等操作,这种机制叫做⼴播(broadcasting) ### ⼀维数组⼴播 import numpy as np arr1 = np.sort(np.array([0,1
阅读全文
摘要:一、索引、切⽚和迭代:基本索引和切⽚ ### numpy中数组切⽚是原始数组的视图,这意味着数据不会被复制,视图上任何数据的修改都会反映到原数组上 arr = np.array([0,1,2,3,4,5,6,7,8,9]) arr[5] # 索引 输出 5 arr[5:8] # 切⽚输出:array
阅读全文
摘要:一、形状操作 ### 数组变形 import numpy as np arr1 = np.random.randint(0,10,size = (3,4,5)) arr2 = arr1.reshape(12,5) # 形状改变,返回新数组 arr3 = arr1.reshape(-1,5) # ⾃动
阅读全文
摘要:一、数组运算 ### 加减乘除幂运算 import numpy as np arr1 = np.array([1,2,3,4,5]) arr2 = np.array([2,3,1,5,9]) arr1 - arr2 # 减法 arr1 * arr2 # 乘法 arr1 / arr2 # 除法 arr
阅读全文
摘要:一、复制和视图:在操作数组时,有时会将其数据复制到新数组中,有时不复制。有以下三种情况 ### 完全没有复制 import numpy as np a = np.random.randint(0,100,size = (4,5)) b = a a is b # 返回True a和b是两个不同名字对应
阅读全文
摘要:一、NumPy科学计算库 ### Po,功夫熊猫中阿宝。勤加练习,你就所向披靡! ~~~ NumPy(Numerical Python)是Python的⼀种开源的数值计算扩展。 ~~~ 提供多维数组对象,各种派⽣对象(如掩码数组和矩阵),这种⼯具可⽤来存储和处理⼤型矩阵, ~~~ ⽐Python⾃身
阅读全文
摘要:一、数据类型 ### ndarray的数据类型: int: int8、uint8、int16、int32、int64 float: float16、float32、float64 str ### array创建时,指定 import numpy as np np.array([1,2,5,8,2],
阅读全文
摘要:一、指定默认启动目录 ### 查看jupyter_noteboot_config.py配置文件所在地址 C:\Users\Administrator>jupyter notebook --generate-config Overwrite C:\Users\Administrator\.jupyte
阅读全文
摘要:一、NumPy科学计算库 ### 安装numpy模块 C:\Users\Administrator>pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数: Successfully installed numpy-
阅读全文
摘要:一、安装jupyter库 ### 查看pip版本 C:\Users\Administrator>pip --version pip 21.2.4 from D:\JAVA\Python310\lib\site-packages\pip (python 3.10) ### 在windows.dos下安
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、面向对象 ### 面向对象基本概念 ~~~ # 面向过程: ~~~ 根据业务逻辑从上到下写代码。 ~~~ # 面向对象: ~~~ 将变量与函数、属性绑定到一起,分类进行封装,每个程序只要负责分配给自己的功能, ~~~ 这样能够更快速的开发程序,减少了重复代码。 ~~~ 我们在前面写的代码都是面向
阅读全文
摘要:一、模块和包管理 ### 模块和包管理 ~~~ Python中具有丰富的标准库和第三方库,学习并掌握模块、包的概念尤为重要, ~~~ 决定了我们是否能够利用这些丰富的资源,以及如何妥善组织好我们自己的代码。 一、模块的导入 ~~~ # 首先,我们来导入一个内置模块 import math ~~~ #
阅读全文
摘要:一、集合 set:集合在Python中是一个无序的不重复的序列,一般用来删除重复数据还可以计算交集并集等。 ### 集合的定义 ~~~ # 这两方式都可以定义一个集合 nums = {1, 2, 3, 4, 5} nums = set([1, 2, 3, 4, 5]) ~~~ # 注意,集合是无序的
阅读全文
摘要:一、Python进阶:函数 ### Python进阶:函数 ~~~ 在前面的学习过程中,我们已经接触了很多次函数, ~~~ 现在我们来好好的认识一下这个重要的小伙伴。 ~~~ 函数就是一段可以重复调用的代码在Python中函数是非常重要的概念,在编程中几乎无处不在。 一、函数定义及调用 ### 在P
阅读全文
摘要:一、列表 list ### 定义列表 ~~~ # 列表可以理解为可变的元组,它的使用方式跟元组差不多,区别就是列表可以动态的增加、修改、删除元素。 ~~~ # 以上方式都可以定义一个列表。注意变量名使用了lst,有意的避开了list,虽然list不是关键字,但我们在命名变量的时候不要使用这些内置名称
阅读全文
摘要:一、字典 dict ### 类似这种销售信息的数据结构,我们使用元组或者列表存储是可以的。 top_sales = [('Peter', 213), ('John', 253), ('Tony', 284), ('Henry', 205), ('Mike', 280)] ### 可以很方便的取出在这
阅读全文
摘要:一、数据结构:字符串 ### 数据结构:字符串 ~~~ 在任何一门编程语言中,字符串都是最基础、最重要的数据结构。 ~~~ 前面我们已经学习过字符串的基本使用方法,现在继续深入的学习更多的知识。 一、字符串的格式化输出: ### 格式化运算符 ~~~ # 在之前while循环的一个例子中, 有这样一
阅读全文
摘要:一、元组 tuple:定义元组 ~~~ # 现在我们知道了字符串是一种序列,它可以迭代循环,也可以按索引访问,也可以切片访问。但它的组成只能是单个的字符,现在来介绍一种更多元化的序列:元组,英文叫tuple,可这样来定义一个元组: t = ('My', 'age', 'is', 18) ~~~ #
阅读全文
摘要:一、编程实现:智能密码锁程序 ### 编程实现:智能密码锁程序 ~~~ 最近几年很流行的智能密码锁程序,除了可以用指纹开锁、人脸识别开锁外, ~~~ 都会有密码开锁的功能,以防万一。 ~~~ 密码开锁功能是这样的,首先设定好密码, ~~~ 以后每次开锁的时候只要输入的数字中含有设定的密码,就视为解锁
阅读全文
摘要:一、循环 ### 循环 ~~~ 看到循环我们首先会想到一些物体,比如旋转的风扇、车轮,一个圆的形状。 ~~~ 一个圆形的跑道,如果沿着它跑,除非我们自己停下来,永远不会有终点, ~~~ 但是可以计算我们跑了多少圈。 ~~~ 假设我们在跑步之前,给自己设定一个目标,跑完10圈就不跑了, ~~~ 然后去
阅读全文
摘要:一、使用算术运算符操作字符串 ### 对,没有看错,字符串在Python中也可以“运算”,有两种操作,我们先看看加法。 print("Hello " + "world") ### 加号可以将两个字符串拼接成一个字符串,也可以将多个字符串拼接在一起: print("apple " + "apple "
阅读全文
摘要:一、流程控制 ### 流程控制 ~~~ 经过前面三个小节的学习,我们已经对Python编程语言有了一个初步的了解。 ~~~ 如果说Python是一条蟒蛇,变量、数据类型、运算符就是它的肌肉和骨架, ~~~ 而流程控制相当于它的神经系统,掌握了流程控制知识,就可以让Python灵活的游动起来。 ~~~
阅读全文
摘要:一、数据类型转换 ### 布尔值转换 ~~~ 要想把其他值转换为布尔值,需要使用一个内置函数bool(), ~~~ 我们在控制台按顺序输入以下的代码:关于函数的概念我们在后面的课程中会学习, ~~~ Python的内置函数有很多,我们也会一一学习。 ~~~ # 以下值都为True bool(1) b
阅读全文
摘要:一、运算符:算数运算符:算术运算符:Python中进行数值运算需要的符号如下,我们来一一学习一下。 运算符 描述 实例 + 加 1 + 1; a + b - 减 10 - 5; a - b -c * 乘 4 * 2 相当 4 × 2 / 除 4 / 2 相当于 4 ÷ 2 // 取整除 10 //
阅读全文
摘要:一、交互式编程 ### 交互式编程 ~~~ 在上面的步骤中,我们输入了一行代码,按回车键后, ~~~ 将代码提交给了Python内置的解释器,解释器运行了代码后,将运行结果打印在了控制台上, ~~~ 这种一次输入对应一次输出的形式,我们称之为交互式编程。 ~~~ 试试将Hello world 案例中
阅读全文
摘要:一、 核心语法:变量 ### 变量的定义 ~~~ 变量就是可变的量,对于一些有可能会经常变化的数据,我们需要使用一个符号, ~~~ 这样才能计算中使用它,就像我们在小学时学过的一元方程中的"x"一样。 ~~~ 比如说,我们在控制台内输入: ~~~ 这样我们就新定义了一个变量,它的值是"world",
阅读全文
摘要:一、数据类型 ### 数据类型 ~~~ 如果有学习过其他编程语言的同学, ~~~ 可能在学习变量的时候就会想问,在Python中定义一个变量的时候,怎么没有先声明它的类型呢? ~~~ 这正是Python的简洁高效之处。变量在Python中是不区分类型的, ~~~ 但它的值有类型,不同的值有不同的类型
阅读全文
摘要:一、Python310安装配置 1、下载地址:https://www.python.org/ftp/python/3.10.1/python-3.10.1-amd64.exe 2、自定义安装 3、自定义插件安装 4、更改安装目录 5、安装成功 二、配置环境变量: 1、配置系统环境变量:配置Pytho
阅读全文
摘要:一、PyCharm.20200205安装 1、下载地址: https://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC 2、安装PyCharm.20200205 3、更改安装目录 4
阅读全文