-
tf.keras不常见问题汇总
tf.keras同样是mse，但是作为loss和metrics的输出结果不一致。 可以参见这个问题。其实就是loss根据Batch算的，而metrics算的是全部的，所以metrics计算的是正确的结果。这个bug我看到在github上面提出来过了，据说已经fix了，但是不知道怎么又在tf2.0中出现了。 tf.keras相同模型相同训练集和测试集，相同服务器运行代码，多次的结果对应的最优mse相差比较大。比如可能在0.63~0.67之间波动。 这个问题在百度没有找到答案，但是在s…
-
tf.keras多输出和自定义loss
基础Loss tf.keras中自带了很多loss函数，比如回归问题的MSE和分类问题的交叉熵等，通常我们会在model.compile中设置，如下代码所示： model.compile(optimizer='adam', loss='mean_squared_error', metrics=[]) 多个输出，loss计算独立 但是最近做的工作是一个多任务的问题，需要计算多个输出的loss，然后将它们加起来求平均作为最终的Loss，由于多个输出不可以合并，那用上面的方法就不合适了。t…
-
服务器tensorflow-gpu2.0安装
原来一直用的tensorflow，但是由于它静态图的属性，每次debug都很艰难，要看计算的值都要传出来才能看到，而且要一次搭建成功了才能run。总之说来就是凭着经验和运气在debug，虽然说好像也有一个debug的工具，但是在pycharm上并不可用（或者是我没找到方法）。本来说做完横向就转去学pytorch，实验室似乎除了我和林小可爱就没人用tf了。林海博在此时给我安利了tf2.0，在网上看了一些教程，我也学了两天用它写了个简单的分类的程序，顿时感觉嘤嘤嘤太好用了。本地没有GPU还是跑…
-
Python 常用方法
Dataframe 去掉某个元素为空的一行（以免去停后文本为空） data.dropna(inplace=True) 去掉重复项（但是会导致用range进行遍历的时候在删掉位置报错） data = data.drop_duplicates 遍历 for index, row in data.iterrows(): texts.append(row['text']) labels1.append(row['l1']) 随机抽样 dataframe.sample(frac=0.8,r…