随笔分类 -  BigData

GIS开源组件编译系列
摘要：GIS开源组件编译系列 (01)CentOS7环境中编译GDAL3.5 其编译的组件有sqlite、libiconv、protobuf、libdeflate、LZMA2、zstd、pcre2、tiff、openssl、curl、Proj、Geos、swig、Hadoop、hdf5、netcdf、po 阅读全文
posted @ 2022-12-22 09:54 ParamousGIS 阅读(113) 评论(0) 推荐(0) 编辑
TWKB编码
摘要："Tiny Well-known Binary" or "TWKB"VersionRelease0.23May 1, 2015AbstractTWKB is a multi-purpose format for serializing vector geometry data into a byte buffer, with an emphasis on minimizing size of th... 阅读全文
posted @ 2020-08-24 16:14 ParamousGIS 阅读(506) 评论(0) 推荐(0) 编辑
CentOS8安装PostgreSQL12
摘要：1.PostgreSQL的安装1.1 下载并安装PostgreSQL官方yum源配置文件dnf install https://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat-repo-latest.noarch.rpm1.2 禁用系统内置yum源的PostgreSQL安装模块PostgreSQL官方的y... 阅读全文
posted @ 2020-06-06 12:40 ParamousGIS 阅读(6553) 评论(0) 推荐(0) 编辑
Spark-Hive中出现 access denied org.apache.derby.security.SystemPermission( "engine", "usederbyinternals" )问题
摘要：参考：http://db.apache.org/derby/releases/release-10.12.1.1.cgihttps://blog.csdn.net/hxl122lcq/article/details/7782940修改 D:\Java\Java8X64\jre1.8.0_181\lib\security\java.policy与D:\Java\Java8X64\jdk1.8.0_1... 阅读全文
posted @ 2020-06-05 16:13 ParamousGIS 阅读(467) 评论(0) 推荐(0) 编辑
mvn编译时绕过本地jar去maven仓库下载问题
摘要：第一种解决方法：构建maven项目时，获取某个jar包，该jar包不在maven中央仓库中，在自己搭建的私服仓库中。本地maven仓库已经存在该jar包，编译时却一直提示，官方maven仓库无法获取到该包。如下，修改本地maven仓库jar中的_remote.repositories文件进行一些修改即可。具体原因感兴趣的同学可以自行搜索，后续会补充问题的详解。例如：#NOTE: This is a... 阅读全文
posted @ 2020-04-08 22:31 ParamousGIS 阅读(2368) 评论(0) 推荐(0) 编辑
分布式文件服务器介绍（转载）
摘要：FastDFS是一个开源的轻量级分布式文件系统，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。官方论坛 http://bbs.chinaunix.net/forum-240-1.htmlFastDfs google Code http://code.google.com/p/fastdfs... 阅读全文
posted @ 2020-02-20 22:40 ParamousGIS 阅读(675) 评论(0) 推荐(0) 编辑
导入数据到MongoDB中
摘要：import sys import json import pymongo import datetime from pymongo import MongoClient client = MongoClient('mongodb://192.168.1.31:20000,192.168.1.34:20000') db = client.RHY collection = db.ST_RIVER... 阅读全文
posted @ 2018-10-19 23:41 ParamousGIS 阅读(811) 评论(0) 推荐(0) 编辑
01-01基于SHELL的数据分析
摘要：#!/usr/bin/env bashfor year in /root/Downloads/data/all/*doecho -ne `basename year.gz‘"\t"gunzip−cyear | \awk '{ temp = substr(0,88,5)+0;q=substr(0, 93, 1); if (temp != 9999 &&... 阅读全文
posted @ 2018-07-05 22:31 ParamousGIS 阅读(207) 评论(0) 推荐(0) 编辑
HBase安装与应用
摘要：1. 参考说明参考文档： https://hbase.apache.org/book.html 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNameNode DataNodes centoshadoop.smartmap.com 192.168.1.8... 阅读全文
posted @ 2018-05-24 17:51 ParamousGIS 阅读(625) 评论(0) 推荐(0) 编辑
Sqoop安装与应用过程
摘要：1. 参考说明参考文档： http://sqoop.apache.org/ http://sqoop.apache.org/docs/1.99.7/admin/Installation.html 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNameNode Dat... 阅读全文
posted @ 2018-05-24 09:18 ParamousGIS 阅读(369) 评论(0) 推荐(0) 编辑
Hive安装与应用过程
摘要：1. 参考说明参考文档： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNameNode DataNodes centosh... 阅读全文
posted @ 2018-05-23 01:11 ParamousGIS 阅读(2246) 评论(0) 推荐(0) 编辑
Pig安装与应用
摘要：1. 参考说明参考文档： http://pig.apache.org/docs/r0.17.0/start.html#build 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNameNode DataNodes centoshadoop.smartmap... 阅读全文
posted @ 2018-05-21 00:37 ParamousGIS 阅读(726) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示