着输出皱眉。
这对普通人来说很难:数据量太大,而数据的好与坏、干净与杂乱,都是人为定义的主观标准。
赵文渊眼下唯一能看到的症状,就是Loss值突然剧烈波动;但要在他不熟悉的巨大规则集和更庞大的原始语料里找问题,不啻大海捞针。
唯一的办法是现写脚本辅助诊断——这也是赵文渊正在做的事。
但对赵文渊难的事,对韩路一却未必难。
或者说,对视界不难。
视界,开。
一瞬间,熟悉的颜色浮上来。
大部分样本是淡蓝色的正常文本。
少量灰色是重复文本,没被剔除,但问题不大。
几段橙红色的低质量内容已被规则标出,本不该进入训练主数据。
很快,韩路一的目光停在一片奇怪的颜色上。
暗紫色。
这不是之前出现过的颜色。
他微微一怔。
注意力移过去。
视界里弹出一行说明。
【疑似类型:伪结构化残片】
【HTML/Markdown/JSON标记残片混合乱码,现行规则集将其误判为代码片段;词元化后重复符号占比异常,易造成异常长序列,引发训练曲线波动】
韩路一看了看原始数据。
乍一看,这些片段确实像代码;仔细看,却不合语法,也没有实际意义。
就像有人专门投的毒。
韩路一迅速更新几条新规则来抓这些数据,然后在赵文渊发来的异常样本上测试。
有效。
韩路一一边上传改好的规则集,一边在视频通话里把发现的问题和解决方案跟赵文渊同步。
赵文渊正埋头写检测脚本,才写一半,听到韩路一的话,茫然抬头。
怎么?不是我在给你讲状况吗?
你怎么已经解决了?
很快,他就释然了。
哦对,韩总是我的随身老爷爷,那没事了。
赵文渊快速查看规则集里新加的几条规则,把这批原始数据又跑了一遍,再把清洗后的新数据加入管线,重新开始训练。
按下开始时,他心里莫名安心。
……
与此同时,鼎盛大厦。
刘勃敲门进了王总监办公室。
“王总。”
“刘总。”
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk