09 2018 档案
摘要：7种基本用法 首先安装requests库 如果你本地只有一个python环境直接运行pip install requests 像我本地装了3个不同的python怎么使你安装在你想要安装的python下呢？我以安装到python3.6为例 找到python的安...
阅读全文
摘要：turtle.pendown() # 放下画笔 turtle.penup() # 抬起画笔 turtle.pensize(int) # 设置画笔宽度，值为整数型 turtle.forward(float) # 讲话比向前移动一定的角度 turtle.b...
阅读全文
摘要：import turtlefor i in range(100,0,-5): # 从100到0循环递减每次减5 turtle.circle(i,90) 不懂为啥第一次运行会出错，错了再运行一遍for就出来了
阅读全文
摘要：一、首先要mysql授权 mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;Query OK, 0 rows affected (0...
阅读全文
摘要：1、将表输出到文件 select * FROM zhilianzhaopin4 INTO OUTFILE 'G:/test.csv' --------输出位置 fields terminated by '@@' --------字段用@...
阅读全文
摘要：在Spark中采用本地模式启动pyspark的命令主要包含以下参数：–master：这个参数表示当前的pyspark要连接到哪个master，如果是local[*]，就是使用本地模式启动pyspark，其中，中括号内的星号表示需要使用几个CPU核心(core)...
阅读全文
摘要：此文为个人学习笔记如需系统学习请访问http://dblab.xmu.edu.cn/blog/1709-2/ 提供一种通用的数据抽象 RDD典型的执行过程如下： RDD读入外部数据源（或者内存中的集合）进行创建；RDD经过一系列的“转换”操作，每一次都会产生不...
阅读全文
摘要：默认使用的竟然是2.7好烦如何解决呢 配置环境变量就行了 vi ~/.bashrc 添加一句话 export PATH=/home/hadoop/app/python3/bin:$PATH 保存退出 使环境变量生效 source ~/.bashrc...
阅读全文
摘要：去官网下载安装包放到~/software/ 下 1更新软件库 sudo apt-get update 2安装相应的开发库 sudo apt-get install zlib1g-dev libbz2-dev libssl-dev libncurses5-d...
阅读全文
摘要：简单查询分析 select brand_id from user_log limit 10; -- 查看日志前10数据 好像也没啥，和SQL相同，，limit取前多少条 ， as取别名 查询条数统计分析 count（）聚合函数 select count(*)...
阅读全文
摘要：1.外部表 关键字：EXTERNAL 外部表创建时需要指定LOCATION 删除外部表时，数据不被删除 CREATE EXTERNAL TABLE page_view(viewTime INT, userid BIGINT, page_url ST...
阅读全文
摘要：和sql十分类似简单计一下 1、 启动hive 因为需要借助于MySQL保存Hive的元数据，所以，请首先启动MySQL数据库 service mysql start # 可以在Linux的任何目录下执行该命令 由于Hive是基于Hadoop的数据仓库，使用H...
阅读全文
摘要：1、目录操作 hdfs dfs [命令] [命令] 等价于 hadoop fs [] [] 1 ./bin/hdfs dfs -mkdir -p /user/hadoop 基本操作在hadoop目录bin中h...
阅读全文
摘要：Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject hadoop@hadoop-virtual-machine:~/app/sqoop-1.4.6-cdh...
阅读全文
摘要：错误信息 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStor...
阅读全文
摘要：SET PASSWORD FOR 'root'@'localhost' = PASSWORD('输入新密码');
阅读全文
摘要：此文为个人学习笔记如需系统学习请访问http://dblab.xmu.edu.cn/blog/1709-2/ 基本概念 * RDD：是弹性分布式数据集（Resilient Distributed Dataset）的简称，是分布式内存的一个抽象概念，提供了一...
阅读全文
摘要：此文为个人学习笔记如需系统学习请访问http://dblab.xmu.edu.cn/blog/1709-2/ Spark具有如下几个主要特点： 运行速度快 Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引擎...
阅读全文
摘要：蒙特·卡罗方法是一种通过概率来得到问题近似解的方法，在很多领域都有重要的应用， 其中就包括圆周率近似值的计算问题。假设有一块边长为 2 的正方形木板，上面画一个单位 圆，然后随意往木板上扔飞镖，落点坐标(x, y)必然在木板上（更多的时候是落在单位圆内）， 如...
阅读全文
摘要：1、编写程序，输入任意大的自然数，输出各位数字之和。 2、编写程序，输入两个集合 setA 和 setB，分别输出它们的交集、并集和差集 setA-setB。 3、编写程序，输入一个自然数，输出它的二进制、八进制、十六进制表示形式。 1、 num = inpu...
阅读全文
摘要：cmd环境下进入python安装包里的Script文件夹 安装numpy 安装pandas 安装scipy 安装matplotlib 安装jieba（应该是之前装的库安装依赖时下载了） 安装openpyxl 安装pillow ...
阅读全文
摘要：1、概述 XML,可扩展标记语言。允许开发者自由定义标签，可以将标签和内容有效分离 XML不再侧重于数据如何展示，而是更多的关注于数据如何存储和传输。 2、XML文档规则 有且只有一个根元素元素必须合理结束元素之间必须合理嵌套元素的属性必须有值XML声明（不是...
阅读全文
摘要：1、RDD常用操作2、Transformations算子3、Actions算子4、SparkRDD案例实战 1、Transformations算子(lazy) 含义：create a new dataset from an existing on 从已经存在的...
阅读全文
摘要：1、安装： yum install firewalld 2、启动： service firewalld start 3、检查状态： service firewalld status 4、关闭或禁用防火墙： service...
阅读全文
摘要：1、pycharm编写spark应用程序 由于一些原因在windows上配置未成功（应该是可以配置成功的）、我是在linux上直接使用pycharm，在linux的好处是，环境可能导致的一切问题不复存在 111 新建一个普通python工程 编程环境使用s...
阅读全文
