Mikito logo

Mikito


Winter is Coming


  • 主页
  • 归档
  • 标签
  • 关于
  • 朋友
  • 统计
  • Github
  • Douban
  • QQ
  • RSS
  • Email
  1. keras中TimeDistributed多输入问题

    最近实验中使用了层级attention机制,具体代码参考了textClassifier的代码,是用keras实现的,我直接迁移到tf2.0也是很方便。    这个代码中,sentence-level到document-level是通过keras自带的TimeDistributed实现的。TimeDistributed是自动地将相同操作应用于不同的time_step,以达到不同time_step进行相同的计算,并权重共享。    官网中参数介绍如下: inputs: Input tensor…

    2019 Oct 29 • 继续阅读

  2. tf.keras不常见问题汇总

    tf.keras同样是mse,但是作为loss和metrics的输出结果不一致。    可以参见这个问题。其实就是loss根据Batch算的,而metrics算的是全部的,所以metrics计算的是正确的结果。这个bug我看到在github上面提出来过了,据说已经fix了,但是不知道怎么又在tf2.0中出现了。 tf.keras相同模型相同训练集和测试集,相同服务器运行代码,多次的结果对应的最优mse相差比较大。比如可能在0.63~0.67之间波动。    这个问题在百度没有找到答案,但是在s…

    2019 Oct 15 • 继续阅读

  3. tf.keras多输出和自定义loss

    基础Loss    tf.keras中自带了很多loss函数,比如回归问题的MSE和分类问题的交叉熵等,通常我们会在model.compile中设置,如下代码所示: model.compile(optimizer='adam', loss='mean_squared_error', metrics=[]) 多个输出,loss计算独立    但是最近做的工作是一个多任务的问题,需要计算多个输出的loss,然后将它们加起来求平均作为最终的Loss,由于多个输出不可以合并,那用上面的方法就不合适了。t…

    2019 Oct 14 • NLP, python, Tensorflow2.0继续阅读

  4. 服务器tensorflow-gpu2.0安装

    原来一直用的tensorflow,但是由于它静态图的属性,每次debug都很艰难,要看计算的值都要传出来才能看到,而且要一次搭建成功了才能run。总之说来就是凭着经验和运气在debug,虽然说好像也有一个debug的工具,但是在pycharm上并不可用(或者是我没找到方法)。本来说做完横向就转去学pytorch,实验室似乎除了我和林小可爱就没人用tf了。林海博在此时给我安利了tf2.0,在网上看了一些教程,我也学了两天用它写了个简单的分类的程序,顿时感觉嘤嘤嘤太好用了。本地没有GPU还是跑…

    2019 Oct 11 • 继续阅读


1 / 13 更早 →
备案号 苏ICP备15055270号-1 © 2019 All rights reserved.