08 2018 档案
摘要：目录1，安装selenium和配置chromedriver2，调用chromedriver打开网页获取网页内容3，模拟登陆百度云4, 异常问题附录(webdriver版本兼容列表) 通过selenium库，python可以调用chrome打开指定网页并获取网页内容或者模拟登陆获取网页内容 1，安装s
阅读全文
摘要：首先添加相关依赖： 需要注意的是依赖中排除掉的日志模块，以及特殊的打包方式 定义配置类: 启动类： 执行方式： 参考链接： "https://stackoverflow.com/questions/45189701/submitting spring boot application jar to
阅读全文
摘要：ignite分布式计算 在ignite中，有传统的MapReduce模型的分布式计算，也有基于分布式存储的并置计算，当数据分散到不同的节点上时，根据提供的并置键，计算会传播到数据所在的节点进行计算，再结合数据并置，相关联的数据存储在相同节点，这样可以避免在计算过程中涉及到大量的数据移动，有效保证计算
阅读全文
摘要：静态分区: 在hive中创建表可以使用 脚本： 注意，分区字段不能与表中的字段重复，不然会执行出错 执行 脚本: 手动添加分区： 创建好分区后，hive会在HDFS存储中创建相应的路径: 或者使用 使用 脚本导入数据： 在使用sqoop导入数据的时候可以指定分区，但是 和` hive partiti
阅读全文
摘要：1.使用pip命令安装cx_Oracle 2.安装oracle客户端，并添加到path 下载路径: "http://www.oracle.com/technetwork/database/database technologies/instant client/downloads/index.htm
阅读全文
摘要：在windows下换行符是 ，表示回到行首并换到下一行 而unix系统中换行符是 这样就存在一个问题，在windows上的文档到了unix上可能就无法使用了 针对这个情况有几种解决办法： 1.用vim修改文档的文本格式(fileformat) 2.使用ide修改文本格式 notepad++： 右下角
阅读全文
摘要：ignite持久化与固化内存 1.持久化的机制 ignite持久化的关键点如下 : ignite持久化可防止内存溢出导致数据丢失的情况； 持久化可以定制化配置，按需持久化; 持久化能解决在大量缓存数据情况下ignite节点启动缓慢的问题; 使用持久化后，ignite能存储海量的数据; 使用持久化之后
阅读全文
摘要： 使用ignite的一个常见思路就是将现有的关系型数据库中的数据导入到ignite中，然后直接使用ignite中的数据，相当于将ignite作为一个缓存服务，当然ignite的功能远不止于此，下面以将ignite集成进java服务的方式进行演示ignite的数据存储和查询相关的功能。由于个人习惯，
阅读全文
摘要：ignite有两种配置方式，一种是基于XML文件的配置，一种是基于JAVA代码的配置： 这里将ignite常用的配置集中罗列出来了，一般建议使用xml配置。 1，基于XML的配置 基于此XML配置启动ignite节点的方式如下: 2，基于JAVA代码的配置 一般建议基于XML配置，spring be
阅读全文
摘要：apache ignite简介（一） 1，简介 ignite是分布式内存网格的一种实现，其基于java平台，具有可持久化，分布式事务，分布式计算等特点，此外还支持丰富的键值存储以及SQL语法(基于h2引擎)，可以看成是一个分布式内存数据库。 与ignite类似的产品有gemfire(12306目
阅读全文
摘要：1, 简介 Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控，而其web管理界面同样也可以方便的管控调度任务，并且对任务运行状态进行实时监控，方便了系统的运维和
阅读全文
摘要：jps jps与unix上的ps类似，用来显示本地的java进程，可以查看本地运行着几个java程序，并显示他们的进程号 jconsole jconsole:一个java GUI监视工具，可以以图表化的形式显示各种数据。并可通过远程连接监视远程的服务器VM。 jmap 打印出某个java进程（使用p
阅读全文
摘要：airflow常用命令如下所示: 使用REST API远程调用执行airflow的命令: http://localhost:8080/admin/airflow/trigger?dag_id=example_hello_world_dag http://localhost:8080/admin/ai
阅读全文
摘要： 在使用airflow的过程中需要大量的dag脚本进行性能测试，如果一个个去编写dag脚本未免太过麻烦，于是想到用python的jinja2模板引擎实现批量脚本生成。 先通过pip命令安装jinja2模块: 然后创建模板文件(模板可以是任何形式的文本格式，没有特定扩展名，甚至可以不要扩展名): f
阅读全文
摘要：`logging`模块中日志级别如下: NOTSET
阅读全文
摘要： RabbitMQ是一种基于amq协议的消息队列，本文主要记录一下rabbitmq的基础内容以及使用 操作rabbitmq。 1，rabbitmq中的几个重要概念 a) 虚拟主机(vhost) 虚拟主机：一个虚拟主机持有一组交换机、队列和绑定。虚拟主机的作用在于进行权限管控，rabbitmq默
阅读全文
