249 弱小（4k）(第2/2 页)
最新其它小说小说：
学霸从数学建模开始、
四岁奶娃：大佬狠狠宠、
晚清神捕、
蓄谋、
全世界都怕我们离婚[快穿]、
首富娘子：夫君要细养谢珩温酒、
美人成双、
师尊被当成炉鼎np、
一剑苍穹、
大骆第一赘婿、
我就是仙：开局掉下个小龙女、
竹马镶青梅、
野王诱捕器[电竞]、
洪荒五气玄微仙、
渺渺仙途、
穿成四个起点男主前女友、
我开阴阳茶馆那些年、
满级大佬掀棺后[快穿]、
赵绮晴傅西深、
欲宠成欢：娇妻“潜”入怀、
觉得知识被塞进了脑子里。
只是，等到第二天，当吴恩达提出团队在研发上的困惑时，激烈的辩论到来了。
易科是有“siri”这样的语音助手作为人工智能的实践，而吴恩达的团队不仅在做卷积神经网络cnn的研究，也在做循环神经网络rnn的研究，他们认为后者更适合与语音助手相结合，但效果并不算很好，完全达不到想要的成绩。
问题出在哪里？
吴恩达表述了困惑，也谈了谈易科内部的解决方向。
参会的一部分人赞同易科的解题思路，但谷歌方面却出现了不同的声音。
“为什么非要使用循环神经网络？”谷歌的乌思克尔特本来正在休假，但因为对dl的交流感兴趣便报名过来，“为什么不试试自注意力self-attention？我认为它对nlp领域将会有更优秀的改变。”
“self-attention可以进行更好的并行计算能力，而不是像rnn那样进行顺序处理，它还能直接比较序列中任意两个位置的向量表示，这样就能更有效的捕捉和利用长距离依赖关系，但rnn不行！”
“rnn虽然理论上也能捕捉长距离依赖，但实际上往往因梯度消失或爆炸问题而难以实现！”
乌思克尔特研究的是谷歌的机器翻译改进方法，他的父亲就是计算语言学的教授，尽管刚开始进入谷歌时对语言翻译的工作很不喜欢，但最终还是专注于这一领域的研究，而他近期正在琢磨的便是“自注意力self-attention”在相关领域的改善。
吴恩达很快明白这位谷歌研究员的意思，也在几经思索后给予反驳：“自注意力没有显式地编码位置信息，这就意味着如果以它为核心的模型无法区分序列中相同词语在不同位置的意义差异，而在自然语言的处理中，词语的语义又与位置紧密相关。”
www.。m.
本章未完，点击下一页继续。