文章画像得计算
摘要：一： 计算TF-IDF 值 1: 初始化spark环境 # 初始化spark信息 import os import sys BASE_DIR= os.path.dirname(os.path.dirname("/bigdata/projects/toutiao_projects/reco_sys/o
阅读全文
posted @ 2022-02-28 17:37
02 2022 档案
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot validate serde: org.apache.hive.hcatalog.data.JsonSerDe
摘要：用下列sql语句在hive 中创建表， create table user_action( actionTime STRING comment "user actions time", readTime STRING comment "user reading time", channelId IN
阅读全文
posted @ 2022-02-25 16:10
pyspark.sql.utils.AnalysisException: u"Table or view not found:`ods_fpos`.`sales_order_item_promotion`
摘要：解决 pyspark.sql.utils.AnalysisException: u"Table or view not found:`ods_fpos`.`sales_order_item_promotion` 第一步：启动 hive的metastore元数据服务 hive --service me
阅读全文
posted @ 2022-02-21 15:26
flume
摘要：一、Flume安装部署 1.1、安装地址 1） Flume 官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist
阅读全文
posted @ 2022-02-17 11:06
sqoop 的安装和使用
摘要：一、安装概述 安装sqoop，为实现将mysql、hive数据库之间数据传送功能。 二、下载及安装 官网下载地址，http://archive.apache.org/dist/sqoop/，我选择的版本是1.4.7 将已下载的安装包上传到hadoop的根节点，并解压 [hadoop@hadoop01
阅读全文
posted @ 2022-02-16 11:13
