随笔分类 - ETL
摘要：notebook_name = dbutils.notebook.entry_point.getDbutils().notebook().getContext().notebookPath().get() file_name = dbutils.widgets.get("file_name")Fil
阅读全文
摘要：Log片段： Property(S): ProductToBeRegistered = 1MSI (s) (9C:38) [21:32:16:311]: Note: 1: 1708 MSI (s) (9C:38) [21:32:16:311]: Note: 1: 2205 2: 3: Error M
阅读全文
摘要：问题描述： Excel打开csv文件，英文都显示正常，但是出现某些西方字符变为问号 或 奇怪中文，怎么解决？ 例如： ANSI:Libera玢o UTF-8: Libera��o Western European(Windows): Liberação 就正常了。 【解决方法】 控制面板-》区域和语
阅读全文
摘要：进入平台介绍 扫码立即注册，更多大数据等你来探索 ! 案例： 导入tushare import tushare as ts 这里注意， tushare版本需大于1.2.10 设置token ts.set_token('your token here') 以上方法只需要在第一次或者token失效后调用
阅读全文
摘要：【转载须知】转载请标注本文链接。 Kettle版本：7.1 E:\迅雷下载\Kettle-pdi-ce-7.1.0.0-12\data-integration 运行spoon.bat 新建-数据库 报错内容： org.pentaho.ui.xul.XulException: org.pentaho.
阅读全文
摘要：有表A，结构如下： A: p_ID p_Num s_id 1 10 01 1 12 02 2 8 01 3 11 01 3 8 03 其中：p_ID为产品ID，p_Num为产品库存量，s_id为仓库ID。请用SQL语句实现将上表中的数据合并，合并后的数据为： p_ID s1_id s2_id s3_
阅读全文
摘要：重启Hadoop，报错如下：Cannot create directory /tmp/hive/root/67ae8485-0e7e-4e31-af1b-276dce2e86d3. Name node is in safe mode.The reported blocks 70 has reache
阅读全文
摘要：oracle安装+WINDOWS Oracle SQL DEVELOPER hive JDBC连接
阅读全文
摘要：报错： Exception in thread "main" java.lang.RuntimeException: java.net.SocketException: Call From bigdata/192.168.0.108 to bigdata:9000 failed on socket
阅读全文
摘要：下载： https://www.cloudera.com/downloads/connectors/hive/jdbc/2-5-20.html 手册： https://community.cloudera.com/t5/Community-Articles/Connect-Oracle-SQL-De
阅读全文
摘要：HIVE分区，桶，倾斜概念 ref：https://edu.hellobi.com/course/93/play/lesson/2037 静态分区： 按日期来分区 动态分区： 商品二级类目分区（图书、数码等），是不确定的 set hive.exec.dynamic.partition 查看设置tru
阅读全文
摘要：HIVE表-标准建表语句解析，内/外表 REF: https://edu.hellobi.com/course/93/play/lesson/2035 hive> create external table test(id int); OK Time taken: 12.057 seconds hi
阅读全文
摘要：REF: https://edu.hellobi.com/course/93/play/lesson/2034 VARCHAR 有局限性。不能作为UDF函数的返回值。 1）varchar-->string 2）直接创建generic udf函数 MAP:键，值 分别相同类型 这里的STRUCT和C语
阅读全文
摘要：REF: https://edu.hellobi.com/course/93/play/lesson/2033 配置： 如果是多主机模式，那么bind.host 记得把localhost改成master 知识点补充： [root@bigdata conf]# ps -ef UID PID PPID
阅读全文
摘要：REF:https://edu.hellobi.com/course/93/play/lesson/2032 HIVE CLI 你也可以命令行设置mapred.map.tasks=10， 这样起效优先级> hiveconf > .xml文件. -e ： [root@bigdata conf]# hi
阅读全文
摘要：在Python中创建二维数组应该这样写： >>> C = [[0]*3 for i in range(4)]>>> C [[0, 0, 0], [0, 0, 0], [0, 0, 0], [0, 0, 0]]>>> C[0][1] = 2>>> C[[0, 2, 0], [0, 0, 0], [0,
阅读全文
摘要：重启记录，hadoop练习。 先熟悉一下语句： [root@bigdata hadoop]# $HADOOP_HOME/sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh St
阅读全文
摘要：sqoop 运行 MYSQL密码输入错误的报错示例： 20/04/13 18:47:02 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 20/04/13 18:47:02 INFO manager.MySQLManager: Preparing to
阅读全文
摘要：[root@bigdata admin]# hadoop fs -ls / Found 4 items -rw-r--r-- 1 root staff 0 2020-04-11 18:40 /mytemp drwxr-xr-x - root staff 0 2020-04-11 20:37 /tia
阅读全文
摘要：ref:https://blog.csdn.net/infovisthinker/article/details/45370089 mr-jobhistory-daemon.sh命令是在${HADOOP_INSTALL}/sbin/目录下面。启动完了，用jps命令可以看到有JobHistorySer
阅读全文
浙公网安备 33010602011771号