培养的,可我们需要某个职业能力时,要的是专才,比如编程、法律、设计等等。”
韩路一点点头。
这确实是个问题,也是源智应用方面正面临的挑战——汤圆在国家电网落地,需要的正是电力方面的专才。
“这个方向确实比较前沿,不过学术界和工业界已有一些探索。”韩路一说,“现在比较流行RAG(Retrieval-Augmented Generation,检索增强生成)技术:把模型里没有的相关资料放进数据库,提前做好索引;查询进来时,先在专用数据库里搜出相关内容,再连同问题一起送给大模型,让它据此生成答案。”
通过限定数据来源范围,并在提示词中严格限制只能依据给定来源生成回答,就能以最低成本,在一定程度上把通用大模型变成领域专家。
“但这其实是对模型能力不到位的一种妥协。”韩路一接着说,“用户会问什么没法预测,语义理解不到位就检索不到相关信息,最后答案就不准确。这就像让一个没学过这门课的人开卷考试:你提问时,他得现翻答案;翻到了,答得就好;翻不到,就别指望他能给出什么好答案。”
韩路一讲得清晰到位,姜亦心和苏念念都听懂了。
确实,从这个方向看,问题还是没解决。
姜亦心翻过一页资料:“还有下一个问题。”
屏幕上写着这一节的标题:【长时记忆】。
“现在汤圆很强,但它的工作是响应式的。”姜亦心说,“我问一个问题,它答一个;我追问下一个,它再答下一个。等问题多到超出上下文窗口,整个对话就没法用了,只能开下一个问题,一切从头开始。我们做御风时特意优化过这个问题,做成长助手时又遇到了同样的问题。”
这确实是一线应用开发才会遇到的痛点。
韩路一回头看了看苏念念。她最近做经营管理较多,脱离产品一线有一段时间了。
韩路一怕苏念念听不懂,停下来解释了几句——当然,他是对着姜亦心说的,只让苏总顺便听一下。
“大模型生成时,会把所有上下文放进模型里跑一遍,再得出答案。所以上下文给得越多,占用内存越多;这个量有个极限,就是上下文窗口。”韩路一说,“汤圆现在的上下文窗口是二十万个词元,不算小,日常问答够用,放到工程里就捉襟见肘了。”
“超出上下文窗口后,大模型还能继续工作,但它会默默忘掉用户最开始说的话,
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 二零小说 All Rights Reserved.kk