摘要：网上用python写spark+kafka的资料好少啊 自己记录一点踩到的坑~ spark+kafka介绍的官方网址：http://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html python的pyspark库函数文 阅读全文

摘要：前提：kafka有同步，多线程，gevent异步和rdkafka异步四种模式。但是在与celery和gevent连用的时候，有的模式会出错。 下面是我代码运行的结果。 结论：使用多线程方式！ 使用同步方式可以成功发送数据 使用rdkafka异步，只打印了一条send data之后卡住 使用多线程，可 阅读全文

摘要：非常有用的参考博客：http://blog.csdn.net/qq_33160722/article/details/52903380 pykafka文档：http://pykafka.readthedocs.io/en/latest/api/producer.html 起因：项目代码极慢，远远低于 阅读全文

摘要：写了一个kafka传输消息，celery发布任务的脚本。 有四个线程，分别读取不同的kafka队列信息 问题是，只有第一个线程会启动，剩下的三个线程连start都运行不了。 而且这个问题不是一开始就发生的，最开始跑代码的时候很正常。连续运行了半个月都没问题。就是后来重启后就有问题了。 后来发现，在每 阅读全文

摘要：一个相对完整的http请求，输入ip和端口，输出响应码，响应头，响应体，是否超时，以及出错时的错误信息 处理包括： 1.协议处理，如果是443用https，其他用http 2.HTTPError处理，HTTPError一般是401,403,404之类的错误，虽然报错，但是也有响应头。注意获取错误信息 阅读全文