上一页 1 2 3 4 5 6 ··· 21 下一页
2021年9月18日
get_beijing_roadnetwork（工作太忙，仅仅作为记录）
摘要： 1 from shapely.geometry import Polygon, LinearRing 2 import xml.etree.cElementTree as et 3 import matplotlib.pyplot as plt 4 from networkx import DiGr 阅读全文
posted @ 2021-09-18 11:57 土博姜山山 阅读(111) 评论(0) 推荐(0) 编辑
xml_result_2_taos_db（工作太忙，仅仅作为记录）
摘要： import taos from pyproj import Proj, CRS from PIL import Image, ImageOps import xml.etree.ElementTree as ET import os import time import requests impo 阅读全文
posted @ 2021-09-18 11:53 土博姜山山 阅读(57) 评论(0) 推荐(0) 编辑
2021年9月8日
Hadoop HDFS原理详解（系统性回顾）
摘要： Hadoop Apache™Hadoop®项目是为可靠的、可扩展的分布式计算而开发的一套开源软件。 Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大规模数据集进行分布式处理。 Hadoop旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。 Hadoop框架本身 阅读全文
posted @ 2021-09-08 21:54 土博姜山山 阅读(442) 评论(0) 推荐(0) 编辑
基于Mapreduce数据排序
摘要： 1 import java.io.IOException; 2 import org.apache.hadoop.conf.Configuration; 3 import org.apache.hadoop.fs.Path; 4 import org.apache.hadoop.io.IntWrit 阅读全文
posted @ 2021-09-08 21:41 土博姜山山 阅读(208) 评论(0) 推荐(0) 编辑
Hadoop-Mapreduce-英文单词计数（Brief版本-超详细解读）
摘要： 1 package mapred; 2 3 import java.io.IOException; 4 import java.util.StringTokenizer; 5 6 import org.apache.hadoop.conf.Configuration; 7 import org.ap 阅读全文
posted @ 2021-09-08 21:34 土博姜山山 阅读(276) 评论(0) 推荐(0) 编辑
Hadoop-Mapreduce-英文单词计数
摘要： 1 package mapred; 2 3 import java.io.IOException; 4 import java.util.StringTokenizer; 5 import org.apache.hadoop.conf.Configuration; 6 7 import org.ap 阅读全文
posted @ 2021-09-08 21:34 土博姜山山 阅读(94) 评论(0) 推荐(0) 编辑
常见数据类型-HadoopDataType（仅仅作为记录）
摘要： 1 package mapred; 2 3 import org.apache.hadoop.io.ArrayWritable; 4 import org.apache.hadoop.io.IntWritable; 5 import org.apache.hadoop.io.MapWritable; 阅读全文
posted @ 2021-09-08 21:32 土博姜山山 阅读(57) 评论(0) 推荐(0) 编辑
HDFS常规操作-Hadoop（工作太忙，仅仅作为记录）
摘要： 1 package hdfs; 2 3 import java.net.URI; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.hadoop.fs.BlockLocation; 7 import org.ap 阅读全文
posted @ 2021-09-08 21:30 土博姜山山 阅读(60) 评论(0) 推荐(0) 编辑
2021年9月6日
python 多核并行计算 示例3，使用 管道 Pipe（仅仅作为记录）
摘要： import multiprocessing as mul # 管道 Pipe: # Pipe可以是单向(half-duplex)，也可以是双向(duplex)。 # 通过mutiprocessing.Pipe(duplex=False)创建单向管道 (默认为双向)。 # 一个进程从PIPE一端输入 阅读全文
posted @ 2021-09-06 15:52 土博姜山山 阅读(160) 评论(0) 推荐(0) 编辑
python 多核并行计算 示例2，使用manager 进行进程共享（仅仅作为记录）
摘要： 1 import math 2 import datetime 3 import multiprocessing as mp 4 5 # 调用 Python 自带的多进程库 Multiprocessing, 就可以进行 多核并行 计算 6 # Manager 是一个 Multiprocessing 阅读全文
posted @ 2021-09-06 15:51 土博姜山山 阅读(338) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 21 下一页