客户要求要使用Python，调用mysql，调用kafka ，没办法，硬着头皮上

首先确定开发环境，我自己的是windows

 

（1）到网上下载了最新的Python版本，3.8.2，安装到我本地；

（2）若干年前，自己闲着无事下载的开发工具 pycharm-professional-5.0.4.exe ，安装起来；

（3）配置一下，要让开发工具能够使用本地Python编译器；启动的时候一般会提示，如果按照顺序安装，一般不需要配置；

（4）因为要连接MYSQL数据库，随便找了段代码，我的文章中记录了。

要拉最新的驱动，所以按照网上的说法 pip  install mysqlclient ，

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import MySQLdb as mdb

# 连接数据库
conn = mdb.connect('localhost', 'root', '123456')

# 也可以使用关键字参数
conn = mdb.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='ry', charset='utf8')

# 也可以使用字典进行连接参数的管理
config = {
    'host': '127.0.0.1',
    'port': 3306,
    'user': 'root',
    'passwd': '123456',
    'db': 'aa',
    'charset': 'utf8'
}
conn = mdb.connect(**config)

# 如果使用事务引擎，可以设置自动提交事务，或者在每次操作完成后手动提交事务conn.commit()
conn.autocommit(1)    # conn.autocommit(True)

# 使用cursor()方法获取操作游标
cursor = conn.cursor()
# 因该模块底层其实是调用CAPI的，所以，需要先得到当前指向数据库的指针。

try:
    # 创建数据库
    DB_NAME = 'aa'

    conn.select_db(DB_NAME)

    #创建表
    TABLE_NAME = 'stock'

    # 查询数据条目
    count = cursor.execute('SELECT * FROM %s' %TABLE_NAME)

    print (count)
    print('total records:', cursor.rowcount)

    # 获取表名信息
    # desc = cursor.description
    # print
    # var1 = "%s %3s" % (desc[0][0], desc[1][0])
    # print(var1)

    # 查询一条记录

    result = cursor.fetchone()
    print (result)
    print('id: %s,name: %s' % (result[0], result[1]))


    # 查询所有记录
    # 重置游标位置，偏移量:大于0向后移动;小于0向前移动，mode默认是relative
    # relative:表示从当前所在的行开始移动; absolute:表示从第一行开始移动
    cursor.scroll(0,mode='absolute')
    results = cursor.fetchall()
    for r in results:
        print(r[0],r[1])







    # 如果没有设置自动提交事务，则这里需要手动提交一次
    conn.commit()
except:
    import traceback
    traceback.print_exc()
    # 发生错误时会滚
    conn.rollback()
finally:
    # 关闭游标连接
    cursor.close()
    # 关闭数据库连接
    conn.close()

调试成功；

（5）尝试  连接Phoenix 参考  https://www.cnblogs.com/weiyiming007/p/12212743.html

 

（6）编写kafka代码，测试通过

import json
from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers='127.0.0.1:9092')

msg_dict = {
            "sleep_time": 10,
            "db_config": {
                "database":"test_1",
                "host":"xxxx",
                "user":"root",
                "password":"root"
            },
            "table": "msg",
            "msg": "Hello World"
        }
msg = json.dumps(msg_dict)
msg2="aabbccddeeffaagg"
#producer.send('test',msg,partition=0)

producer.send(topic='userTest',value=msg.encode('utf-8'),headers=None,partition=0,timestamp_ms=None)

producer.close()

 

最后成功的代码

客户要求的逻辑是 从MYSQL中获取表，然后检查PHOENIX中是否能够对应到数据，如果能对应，就调用KAFKA，删除MYSQL对应数据，否则就啥也不做；