利内克对此有句名言:“我每从团队中开除一个语言学家,语音识别的性能就提升一大截。”
顺带一提,Transformer架构最初就是为翻译发明的,效果确实惊艳,后来也被证明不只可用于翻译。
赵文渊不打算当面说服詹想——语言上的交锋毫无意义——只说道:“詹总,不如尽快开始第一轮训练。有了第一轮结果,就能知道这个方向是否可行。”
他相信,结果一出,詹想自然会被说服。
赵文渊接着问道:“这些脑电波数据的采样率是多少?对应的数据量有多大?”
詹想一愣,没想到赵文渊对自己的问题避而不答,显然对训练结果极为自信,一时竟没接话。
倒是梦瑶先开口:“是256赫兹,标准采样率。我们的微型电极阵列会对采集到的信号进行聚合,采集通道最高1024个,使用24比特精度。”
她看出赵文渊想问的是数据大小,便把原始数据参数一股脑报了出来。
赵文渊沉吟片刻,迅速在心里估算。
三万小时,按256赫兹算:
30000×3600×256=27648000000
单通道就是接近两百八十亿个采样点。
若按1024个通道算,总数据量就是二十八万亿个电位信号;24比特精度下,大约84TB。
作为脑电波数据,这个量很大;可作为训练模型的数据,简直小得不值一提。
做训练系统久了,对数据量级会有近乎本能的敏感。刚才那番估算,在赵文渊脑中也就花了十几秒。
随即他开口:“这个数据量,没必要起得太大,先做一个五亿参数的模型看看。”
詹想下意识地重复了一遍:“五亿?”
他们团队靠手工特征提取做出的模型,参数还在千万级别。
赵文渊听他出声,以为他嫌小。
毕竟五亿参数只有0.5B,市面上随便一个开源模型都比这大。汤圆1.0可是万亿级的巨无霸,即便如此,还远远算不上市面上最大的模型。
这个预计用于第一轮迭代的脑电模型,和大语言模型们比起来,简直像个小可爱。
赵文渊宽慰道:“开头先做小一点,效果好再提升。”
詹想被噎了一下,后半句话没说出来。
五亿——小吗?那我们现在的模型算什么,微微?
梦瑶倒没被这个数字
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk