【机器学习实战入门】学习使用NLTK和Keras构建你的第一个聊天机器人

什么是聊天机器人？

聊天机器人是一种智能软件，能够像人类一样进行交流和执行操作。聊天机器人广泛应用于客户互动、社交媒体营销以及即时消息传递等领域。根据其构建方式，聊天机器人主要分为两种基本类型：基于检索的模型和基于生成的模型。

Python 聊天机器人项目

1. 基于检索的聊天机器人
   基于检索的聊天机器人使用预定义的输入模式和响应。它通过某种启发式方法选择适当的响应。这种模型在工业中被广泛用于构建目标导向的聊天机器人，我们可以自定义聊天机器人的语气和流程，从而为客户提供最佳体验。

2. 基于生成的聊天机器人
   生成模型不依赖于预定义的响应。它们基于序列到序列（seq2seq）神经网络，其原理与机器翻译类似。在机器翻译中，我们将源代码从一种语言翻译成另一种语言，而在这里，我们将输入转换为输出。生成模型需要大量数据，并基于深度神经网络。

关于 Python 项目——聊天机器人

在这个带有源代码的 Python 项目中，我们将使用深度学习技术构建一个聊天机器人。聊天机器人将在一个包含类别（意图）、模式和响应的数据集上进行训练。我们使用一种特殊的循环神经网络（LSTM）来分类用户消息所属的类别，然后从响应列表中随机选择一个响应。

让我们使用 NLTK、Keras、Python 等工具创建一个基于检索的聊天机器人。

---

下载聊天机器人代码和数据集

我们将使用的数据集是 intents.json。这是一个 JSON 文件，包含我们需要查找的模式以及我们希望返回给用户的响应。

请从以下链接下载 Python 聊天机器人代码和数据集：链接: Python Chatbot Code & Dataset[Python 聊天机器人代码与数据集]

聊天机器人数据与项目源代码

BY DATAFLAIR TEAM

互动在线课程：提升技能，迈向成功，立即报名！

Python 聊天机器人项目代码与数据集
如今，聊天机器人无处不在，它们正在提高效率。聊天机器人减少了对人类的依赖，并能够智能地实时回答问题。

聊天机器人是一种智能软件，能够像人类一样进行交流和执行操作。聊天机器人广泛应用于客户互动、社交网络营销和即时消息传递等领域。根据构建方式，聊天机器人模型分为两种基本类型：基于检索的模型和基于生成的模型。

项目：Python 聊天机器人

类别：机器学习
编程语言：Python
工具与库：Keras、TensorFlow、NLTK
前端：Python – Tkinter
后端：Python
先决条件：Python、机器学习
目标受众：教育、开发人员、数据科学家

---

项目前提条件

该项目要求您具备良好的 Python、Keras 和自然语言处理（NLTK）知识。此外，我们还将使用一些辅助模块，您可以通过 python-pip 命令下载这些模块。

pip install tensorflow, keras, pickle, nltk

---

如何用 Python 制作聊天机器人？

现在我们将使用 Python 构建聊天机器人，但首先让我们看看文件结构以及我们将创建的文件类型：

文件类型 - Python 聊天机器人

• Intents.json – 包含预定义模式和响应的数据文件。
• train_chatbot.py – 在这个 Python 文件中，我们编写了构建模型并训练聊天机器人的脚本。
• Words.pkl – 这是一个 pickle 文件，用于存储包含词汇表列表的 Python 对象。
• Classes.pkl – 类别 pickle 文件包含类别列表。
• Chatbot_model.h5 – 这是训练好的模型，包含模型信息及其神经元的权重。
• Chatgui.py – 这是实现聊天机器人 GUI 的 Python 脚本。用户可以轻松与机器人互动。

以下是创建 Python 聊天机器人的 5 个步骤：

1. 导入并加载数据文件
2. 数据预处理
3. 创建训练和测试数据
4. 构建模型
5. 预测响应

---

1. 导入和加载数据文件

首先，创建一个名为 train_chatbot.py 的文件。我们导入构建聊天机器人的必要包，并初始化在 Python 项目中将使用的变量。

数据文件为 JSON 格式，因此我们使用 json 包将 JSON 文件解析为 Python 格式。

import nltk
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
import json
import pickle
import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Activation, Dropout
from keras.optimizers import SGD
import random

words = []
classes = []
documents = []
ignore_words = ['?', '!']

data_file = open('intents.json').read()
intents = json.loads(data_file)

这是我们 intents.json 文件的样子。

2. 数据预处理

在处理文本数据时，我们需要在构建机器学习或深度学习模型之前对数据进行各种预处理。根据需求，我们需要应用不同的操作来预处理数据。

分词 是你在文本数据上可以做的最基本和第一步的工作。分词是将整个文本分解成小部分（如单词）的过程。

在这里，我们将遍历 intents 中的模式并使用 nltk.word_tokenize() 函数对句子进行分词，然后将每个单词添加到 words 列表中。我们还为标签创建了一个类列表。

for intent in intents['intents']:
    for pattern in intent['patterns']:
        # 分词
        w = nltk.word_tokenize(pattern)
        words.extend(w)
        # 添加到语料库
        documents.append((w, intent['tag']))
        # 添加到类列表
        if intent['tag'] not in classes:
            classes.append(intent['tag'])

现在我们将对每个单词进行词形还原，并从列表中移除重复的单词。词形还原 是将单词转换为其基本形式的过程，然后创建一个 pickle 文件来存储我们预测时将使用的 Python 对象。

# 词形还原、转换为小写并移除重复单词
words = [lemmatizer.lemmatize(w.lower()) for w in words if w not in ignore_words]
words = sorted(list(set(words)))
# 排序类
classes = sorted(list(set(classes)))
# 语料库 = 模式和意图的组合
print(len(documents), "个文档")
# 类 = 意图
print(len(classes), "个类", classes)
# 单词 = 所有单词，词汇表
print(len(words), "个唯一的词形还原后的单词", words)
pickle.dump(words, open('words.pkl', 'wb'))
pickle.dump(classes, open('classes.pkl', 'wb'))

3. 创建训练和测试数据

现在，我们将创建训练数据，其中我们将提供输入和输出。我们的输入将是模式，输出将是输入模式所属的类。但是，计算机不理解文本，因此我们需要将文本转换为数字。

# 创建训练数据
training = []
# 创建一个空的输出数组
output_empty = [0] * len(classes)
# 训练集，每句话的词袋
for doc in documents:
    # 初始化词袋
    bag = []
    # 模式单词列表
    pattern_words = doc[0]
    # 词形还原每个单词 - 创建基础单词，试图表示相关单词
    pattern_words = [lemmatizer.lemmatize(word.lower()) for word in pattern_words]
    # 创建词袋数组，如果当前模式中找到单词则为 1
    for w in words:
        bag.append(1) if w in pattern_words else bag.append(0)
    # 输出是一个针对每个标签的数组，当前标签为 1（对于每个模式）
    output_row = list(output_empty)
    output_row[classes.index(doc[1])] = 1
    training.append([bag, output_row])

# 打乱特征并转换为 np.array
random.shuffle(training)
training = np.array(training)
# 创建训练和测试列表。X - 模式，Y - 意图
train_x = list(training[:, 0])
train_y = list(training[:, 1])
print("训练数据已创建")

4. 构建模型

我们已经准备好了训练数据，现在我们将构建一个具有 3 层的深度神经网络。我们使用 Keras 顺序 API 来完成。经过 200 轮训练后，我们在这模型上达到了 100% 的准确率。让我们将模型保存为 chatbot_model.h5。

# 创建模型 - 3 层。第一层 128 个神经元，第二层 64 个神经元，第三层输出层包含与意图数量相等的神经元
# 使用 softmax 预测输出意图
model = Sequential()
model.add(Dense(128, input_shape=(len(train_x[0]),), activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(64, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(len(train_y[0]), activation='softmax'))

# 编译模型。带有 Nesterov 加速梯度的随机梯度下降对这个模型效果很好
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy'])

# 训练并保存模型
hist = model.fit(np.array(train_x), np.array(train_y), epochs=200, batch_size=5, verbose=1)
model.save('chatbot_model.h5', hist)
print("模型已创建")

5. 预测响应（图形用户界面）

为了预测句子并从用户那里获得响应，让我们创建一个新文件 chatapp.py。

我们加载训练好的模型，然后使用一个图形用户界面来预测机器人的响应。模型只会告诉我们它属于哪个类，因此我们将实现一些函数来识别类并从响应列表中随机获取一个响应。

# 导入必要包
import nltk
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
import pickle
import numpy as np
from keras.models import load_model
model = load_model('chatbot_model.h5')
import json
import random

# 加载训练时创建的 pickle 文件
intents = json.loads(open('intents.json').read())
words = pickle.load(open('words.pkl', 'rb'))
classes = pickle.load(open('classes.pkl', 'rb'))

为了预测类，我们需要以与训练时相同的方式提供输入。因此，我们将创建一些函数来执行文本预处理并预测类。

def clean_up_sentence(sentence):
    # 分词 - 将单词拆分为数组
    sentence_words = nltk.word_tokenize(sentence)
    # 词形还原每个单词 - 创建单词的简短形式
    sentence_words = [lemmatizer.lemmatize(word.lower()) for word in sentence_words]
    return sentence_words

# 返回词袋数组：句子中存在的每个单词为 1，不存在的为 0
def bow(sentence, words, show_details=True):
    # 分词
    sentence_words = clean_up_sentence(sentence)
    # 词袋 - N 个单词的矩阵，词汇矩阵
    bag = [0] * len(words)
    for s in sentence_words:
        for i, w in enumerate(words):
            if w == s:
                # 如果当前单词在词汇表中的位置，则赋值为 1
                bag[i] = 1
                if show_details:
                    print("found in bag: %s" % w)
    return np.array(bag)

def predict_class(sentence, model):
    # 过滤掉概率低于阈值的预测
    p = bow(sentence, words, show_details=False)
    res = model.predict(np.array([p]))[0]
    ERROR_THRESHOLD = 0.25
    results = [[i, r] for i, r in enumerate(res) if r > ERROR_THRESHOLD]
    # 按概率强度排序
    results.sort(key=lambda x: x[1], reverse=True)
    return_list = []
    for r in results:
        return_list.append({"intent": classes[r[0]], "probability": str(r[1])})
    return return_list

在预测类之后，我们将从意图列表中随机获取一个响应。

def getResponse(ints, intents_json):
    tag = ints[0]['intent']
    list_of_intents = intents_json['intents']
    for i in list_of_intents:
        if i['tag'] == tag:
            result = random.choice(i['responses'])
            break
    return result

def chatbot_response(text):
    ints = predict_class(text, model)
    res = getResponse(ints, intents)
    return res

现在我们将开发一个图形用户界面。让我们使用 Tkinter 库，该库附带了许多用于 GUI 的有用库。我们将从用户那里获取输入消息，然后使用我们创建的帮助函数来获取机器人的响应并显示在 GUI 上。以下是 GUI 的完整源代码。

# 使用 Tkinter 创建 GUI
import tkinter
from tkinter import *

def send():
    msg = EntryBox.get("1.0", 'end-1c').strip()
    EntryBox.delete("0.0", END)
    if msg != '':
        ChatLog.config(state=NORMAL)
        ChatLog.insert(END, "You: " + msg + '\n\n')
        ChatLog.config(foreground="#442265", font=("Verdana", 12))
        res = chatbot_response(msg)
        ChatLog.insert(END, "Bot: " + res + '\n\n')
        ChatLog.config(state=DISABLED)
        ChatLog.yview(END)

base = Tk()
base.title("Hello")
base.geometry("400x500")
base.resizable(width=FALSE, height=FALSE)

# 创建聊天窗口
ChatLog = Text(base, bd=0, bg="white", height="8", width="50", font="Arial")
ChatLog.config(state=DISABLED)

# 将滚动条绑定到聊天窗口
scrollbar = Scrollbar(base, command=ChatLog.yview, cursor="heart")
ChatLog['yscrollcommand'] = scrollbar.set

# 创建发送消息的按钮
SendButton = Button(base, font=("Verdana", 12, 'bold'), text="Send", width="12", height=5,
                    bd=0, bg="#32de97", activebackground="#3c9d9b", fg='#ffffff',
                    command=send)

# 创建输入消息的框
EntryBox = Text(base, bd=0, bg="white", width="29", height="5", font="Arial")

# 将组件放置在屏幕上
scrollbar.place(x=376, y=6, height=386)
ChatLog.place(x=6, y=6, height=386, width=370)
EntryBox.place(x=128, y=401, height=90, width=265)
SendButton.place(x=6, y=401, height=90)

base.mainloop()

6. 运行聊天机器人

要运行聊天机器人，我们有两个主要文件：train_chatbot.py 和 chatapp.py。

首先，使用终端中的命令训练模型：

python train_chatbot.py

如果在训练过程中没有出现错误，我们就成功创建了模型。然后，要运行应用程序，我们运行第二个文件：

python chatapp.py

程序将在几秒钟内打开一个 GUI 窗口。通过 GUI，你可以轻松地与机器人聊天。

总结

在这个 Python 数据科学项目中，我们了解了聊天机器人的概念，并实现了一个使用 Python 的深度学习版本的聊天机器人，该模型非常准确。你可以根据业务需求自定义数据，并以更高的准确率训练聊天机器人。聊天机器人被广泛使用，所有企业都在寻求将其集成到他们的工作流程中。

希望你能够通过自定义自己的聊天机器人来练习，并不要忘记展示你的作品。如果你觉得这篇文章有用，请将项目分享给你的朋友和同事。

参考资料

资料名称	链接
Python 官方文档	https://docs.python.org/3/
Keras 官方文档	https://keras.io/
NLTK 官方文档	https://www.nltk.org/
TensorFlow 官方文档	https://www.tensorflow.org/
Scikit-learn 文档	https://scikit-learn.org/stable/
Chatbot 参考资料	https://chatbotsjournal.com/
Chatbot 教程	https://towardsdatascience.com/building-a-chatbot-2d8d3ca08b7b
Tkinter 官方文档	https://tkdocs.com/
深度学习入门	https://chrisalbon.com/
数据预处理方法	https://machinelearningmastery.com/prepare-text-data-machine-learning-scikit-learn/
Chatbot 项目案例	https://github.com/fchollet/keras/tree/master/examples
Chatbot 技术文章	https://www.datacamp.com/community/tutorials