02 2019 档案
摘要:训练时: 1. 输入正确标签一次性解码出来 预测时: 1. 第一次输入1个词,解码出一个词 第二次输入第一次输入的词和第一次解码出来词一起,解码出来第3个词,这样依次解码,解码到最长的长度或者<pad>。就结束。 训练时,全部输入与预测时一个一个输入是一样的 1. 需要传入词向量 2.positio
阅读全文
摘要:1.注册socket到poller中 2.接受消息时依据socket标识来判断是该哪个socket接受消息
阅读全文
摘要:在全局添加__all__,可以确定哪些方法或者哪些类可以被调用,例如:
阅读全文
摘要:def _concurrent(func): @wraps(func) # 加入这个的目的是保持原来方法的属性 def arg_wrapper(self, *args, **kwargs): try: jc = self.available_jc.pop() # ret...
阅读全文
摘要:zmq.RCVTIMEO:在一个recv操作返回EAGAIN错误前的最大时间 设置socket的接收操作超时时间。如果属性值是0,zmq_recv(3)函数将会立刻返回,如果没有接收到任何消息,将会返回EAGAIN错误。如果属性值是 -1,将会阻塞,直到接收到消息为止。对于任何其它值,都会进行等待这
阅读全文
摘要:1.Request-Reply模式: 客户端在请求后,服务端必须回响应 server: client: 2.Publish-Subscribe模式: 广播所有client,没有队列缓存,断开连接数据将永远丢失。client可以进行数据过滤。 server: client: 3.Parallel Pi
阅读全文
摘要:def auto_bind(socket): """ auto bind zmq socket :param socket: socket instance :return: zmq socket address """ if os.name == 'nt': # for Windows socket.bind_to_random...
阅读全文
摘要:import uuid identity = str(uuid.uuid4()).encode('ascii')
阅读全文
摘要:class TNLog(object): def __init__(self, log_dir, context, verbose): if not os.path.exists(log_dir): os.mkdir(log_dir) self.context = context self.root_log_dir = log...
阅读全文
摘要:当我们把训练好的tensorflow训练图拿来进行预测时,会有多个训练时生成的节点,这些节点是不必要的,我们需要在预测的时候进行删除。 下面以bert的图为例,进行优化 返回一个gfile类型的文件,我们可以像原来导入模型文件时,恢复图,不过这个图是优化过的。
阅读全文
摘要:因为涉及到同一台电脑多个GPU,在指定tensorflow图的时候,需要为不同的图指定不同的GPU,所以必须在导入tensorflow之前,指定可用的GPU
阅读全文
摘要:saver = self.tf_instance.train.Saver() self.sess = self.tf_instance.Session(config=sess_config, graph=graph) self.sess.run(self.tf_instance.global_variables_initializer()) # 在restore时加入这行代码 self.tf_i...
阅读全文
摘要:ckpt_file = os.path.join(self.args.bert_dir, 'model.ckpt-6123') # 获取图的reader reader = self.tf_instance.train.NewCheckpointReader(ckpt_file) # 根据节点名称获取节点 output_weights = reader.get_tensor('output_we...
阅读全文
摘要:1.先获取节点 2.获取图
阅读全文