如何爬取网页数据
摘要：https://selenium-python.readthedocs.io/navigating.html https://blog.csdn.net/chengxuyuanyonghu/article/details/79154468 关键是要明白webdriver是基于浏览器驱动的；所以在创建
阅读全文
posted @ 2019-03-26 13:44
随笔分类 - 技术Log
“word无法发布此文章”解决
摘要：之前用的好好的word发布文章到cnblogs，但是最近不好用了；报错如题。 解决方案： 选择设置tab，然后拉到最下面： 会看到有一个"MetaWeblog访问地址"；拷贝下来； 在word中的账户中进行修改，将之前的http://www.cnblogs.com/Blog名/services/metaweblog.aspx修改为这个地址即可； 怎么感觉cnblogs经常会修改地址呢？但是现在...
阅读全文
posted @ 2018-12-22 13:53
网络地址0.0.0.0和127.0.0.1
摘要：多网卡情况下，服务监听端口可以做选择监听那个网卡（的端口）；这个时候就需要配置监听的hostIp为0.0.0.0； 我是在安装elk的elastisearch的时候发现的问题；curl locahost:9200没有问题，但是curl 外网IP:9200的时候则报错：curl: (7) Failed
阅读全文
posted @ 2018-08-12 21:21
Redis的多线程
摘要：Redis是单线程内部机制，那么怎么实现并发？在单机上部署多个Redis实例。
阅读全文
posted @ 2018-07-05 22:35
application项目获取bean
摘要：对于web项目，编程方式获取bean如下： 但是对于应用类项目要如何获取呢？方式之一就是通过实现ApplicationContextAware接口。 1. 定义接口 2. 在applicationContext里面定义bean；只有这样定义才可以在spring初始化加载的时候填充该类的applica
阅读全文
posted @ 2018-05-06 19:18
有些文件不需要配置，只需要放到resources下面
摘要：今天和一位同事探讨了一个问题，开始的时候我事先的读取某个映射文件是配置在applicationContext.xml的bean定义里面；但是他提出来，是否可以不需要配置呢？直接作为一个资源文件完事，这样测试联调部署都方便。确实，如果一个文件的作用只是存一些数据，并且一般不变，那么完全可以放到配置里面
阅读全文
posted @ 2018-05-06 18:18
xmlns和xsi之schemaLocation
摘要：appplicationContex.xml文件报错：元素 "util:constant" 的前缀 "util" 未绑定 在根节点添加了“xmlns:util="http://www.springframework.org/schema/util” 继续报错：通配符的匹配很全面, 但无法找到元素 '
阅读全文
posted @ 2018-04-29 18:16
由spring的工厂构造bean想到的
摘要：被Spring管理的bean可以是直接创建实例，还可以通过工厂模式来进行创建。例如brave的tracing bean定义： 1. Spring的工厂模式获取bean class + factory-method属性的定义指出了该bean的获取方式是静态工厂模式； 与之类似的是实例工厂模式，在spr
阅读全文
posted @ 2018-04-29 18:13
zipkin对于dubbo的支持
摘要：对于Web端： 1. 需要在applicationContext的头部添加中添加prefix引用： 2. 添加dubbo的过滤器（可以和webhttpTracing公用一个Tracing） <dubbo:consumer filter="tracing" /> 3. 在pom中添加dubbo rpc
阅读全文
posted @ 2018-04-29 15:46
Spring boot的@Configuration
摘要：就在我惊艳于spring 4的AbstractAnnotationConfigDispatcherServletInitializer小巧简洁（如下）的时候却发现spring boot下面竟然无效。 后来经过调研发现其实是需要通过@Configuration（注意类级别注解）的类来进行处理，比如下例
阅读全文
posted @ 2018-04-29 15:40
brave-zipkin的日志源码分析
摘要：其实在zipkin的日志里面作为发送端日志两个，sr，ss，这个日志是servlet产生的；接收端日志是四个，分别是cr，sr，ss，cs；cr和cs分别是上游的日志的信息；ss和sr是接收端输出的日志； 这些信息都是分别达到zipkin里面，拼接形式是由zipkin做的。都是span start开
阅读全文
posted @ 2018-04-22 22:51
解决一个java facets问题
摘要：经常被一个问题困扰： JavaServer Faces 2.2 can not be installed : One or more constraints have not been satisfied. JavaServer Faces 2.2 requires Dynamic Web Modu
阅读全文
posted @ 2018-04-15 22:00
根据tomcat的日志判断web的发布路径以及服务路径
摘要：[ContainerBackgroundProcessor[StandardEngine[Catalina]]] org.apache.catalina.startup.HostConfig.undeploy Undeploying context [/brave]可以判断出网站发布的project
阅读全文
posted @ 2018-04-15 17:14
servlet深探
摘要：在spring4下面使用的是ServletContext作为容器，这个是servlet规范里面设置的；加载了默认的servlet（在spring 4之前都是web.xml中做的），但是在spring 4使用基于约定默认都是使用org.springframework.web.servlet.Dispa
阅读全文
posted @ 2018-04-15 15:20
zipkin：HttpClient和struts
摘要：因为要和老系统集成zipkin，意外的发现老系统使用的httpClient来发送信息。zipkin的官方demo可都是retstTemplate啊！有的搞头。 在看Demo的时候意外的发现其实其实2.5是支持httpClient的，只有到了spring 3之后才是restTemplate；但是我移植
阅读全文
posted @ 2018-04-14 21:05
zipkin：调用链显示分析
摘要：为什么使用了httpclient，客户端没有向zipkin server发送日志？ 因为我实在main方法中调用的，完事后这个线程就没了；httpclient用的还是异步的发送日志方式；所以没发日志。 但是现在卡主我的确实为什么只有client的信息，没有server信息！ 应该还是进程被干掉的原因
阅读全文
posted @ 2018-04-14 20:17
zipkin：和springcloud集成过程记录
摘要：发现全是springcloudapp的名称，然后是springcloudapp（http://localhost:8080/hello/tom）工程单独调用并没有通知zipkin； 原来是因为restTemplate的获取，好用的是使用restTemplate的@autowire的方式，但是如果使用
阅读全文
posted @ 2018-04-14 20:03
zipkin：mysql做存储，kafka做接收器，以及如何找到配置名称
摘要：mysql设定 1. 创建表结构： （源码路径）\zipkin-storage\mysql\src\main\resources\mysql.sql 2. zipkin的存储设置为mysql（collector设置为kafka） java -server -jar zipkin-server-2.6
阅读全文
posted @ 2018-04-14 19:58
什么是序列化
摘要：什么是序列化？之前一直没有太搞明白；今天再看Hadoop权威指南的时候，加深对于序列化的认知。 首先要明白序列化是因为要跨介质；比如网络传输，从内存、硬盘到网络；在比如保存，从内存到硬盘；序列化的目标是二进制；序列化有两层含义，首先是形式是二进制，网络传输以及硬盘存储只能处理二进制格式；其次，序列化
阅读全文
posted @ 2018-04-06 17:45
Avro和Thrift区别（未完待续）
摘要：两者都是优秀的序列化框架； Avro创造之初是Hadoop之父Doug为了创造一种更加快捷的序列化方案（此时已经有了thrift），用于Hadoop的HDFS的文件序列化问题。 Thrift一个成熟的序列化+RPC的解决方案；也是一种高效传输的方案，代价就是它采用的是静态的IDL的方式，根据定义的接
阅读全文
posted @ 2018-04-05 22:21
