交互式人工智能(CAI)使用机器学习(ML)的子集深度学习(DL)ღ★★,通过机器实现语音识别ღ★★、自然语言处理和文本到语音的自动化ღ★★。CAI流程通常用三个关键的功能模块来描述ღ★★:
本篇白皮书详细介绍了自动语音识别(ASR)的应用场景ღ★★,以及Achronix如何在实现ASR解决方案的同时将相关成本降低高达90%ღ★★。
仅在美国就有超过1.1亿个虚拟助手在发挥作用[1]ღ★★,大多数人对使用CAI服务都很熟悉ღ★★。主要示例包括移动设备上的语音助手ღ★★,例如苹果的Siri或亚马逊的Alexaღ★★;笔记本电脑上的语音搜索助手ღ★★,例如微软的Cortanaღ★★;自动呼叫中心应答助理ღ★★;以及支持语音功能的设备ღ★★,例如智能音箱ღ★★、电视和汽车等ღ★★。
支持这些CAI服务的深度学习算法可以在本地电子设备上进行处理快播5.1官方下载ღ★★,或者聚集在云中进行远程大规模处理ღ★★。支持数百万用户交互的大规模部署是一个巨大的计算处理挑战ღ★★,超大规模的提供商已经通过开发专用的芯片和设备来处理这些服务快播5.1官方下载ღ★★。
现在ღ★★,大多数小型企业都可以使用亚马逊ღ★★、IBMღ★★、微软和谷歌等公司提供的云APIღ★★,轻松地将语音接口添加到他们的产品中ღ★★。然而ღ★★,当这些工作负载的规模增加时(本白皮书后面将介绍一个具体的示例)ღ★★,使用这些云API的成本将会变得过高ღ★★,迫使企业寻求其他解决方案ღ★★。此外ღ★★,许多企业运营对数据安全性有更高的要求ღ★★,因此需要将解决方案必须保留在企业的数据安全范围内快播5.1官方下载ღ★★。
ASR是CAI流程的第一步ღ★★,在这里语音被转录为文本ღ★★。一旦文本可用ღ★★,就可以使用自然语言处理(NLP)算法以多种方式对其进行处理ღ★★。NLP包括关键内容识别ღ★★、情感分析ღ★★、索引ღ★★、语境化内容和分析ღ★★。在端到端的交互式AI算法中ღ★★,语音合成用于生成自然的语音响应ღ★★。
最先进的ASR算法是通过端到端的深度学习来实现ღ★★。不同于卷积神经网络(CNN)ღ★★,递归神经网络(RNN)在语音识别中很常见ღ★★。正如来自TechTarget [10]的David Petersson在《CNN与RNNღ★★:它们有何不同?》文章中提到ღ★★:RNN更适合处理时间数据ღ★★,与ASR应用非常适配ღ★★。基于RNN的模型需要较高的计算能力和存储带宽来处理神经网络模型ღ★★,并满足交互式系统所需的严格的延迟目标ღ★★。当实时或自动响应太慢时ღ★★,它们会显得迟缓和不自然ღ★★。通常只有牺牲处理效率才能实现低延迟ღ★★,这会增加成本ღ★★,并且对于实际部署来说会变得过于庞大ღ★★。
Achronix与采用现场可编程逻辑门阵列(FPGA)进行AI推理的专业技术公司Myrtle.ai展开合作ღ★★。Myrtle.ai利用其MAU推理加速引擎在FPGA上实现基于RNN的高性能网络ღ★★。该设计已集成到Achronix Speedster®7t AC7t1500 FPGA器件中ღ★★,可以利用Speedster7t架构的关键架构优势(将在本白皮书后面进行探讨)ღ★★,大幅提高实时ASR神经网络的加速处理ღ★★,从而与服务器级中央处理器(CPU)相比ღ★★,可处理的实时数据流(RTS)的数量增加2500%ღ★★。
数据加速器可以卸载通常由主CPU执行的计算ღ★★、网络和/或存储处理工作负载ღ★★,从而可以显著减少服务器的占用空间ღ★★。本白皮书介绍了用一台服务器和一个Achronix基于ASR的加速卡可取代多达25台服务器ღ★★。这种架构大大降低了工作负载成本ღ★★、功耗和延迟ღ★★,同时提高了工作负载吞吐量ღ★★。然而ღ★★,只有在硬件得到有效使用并且部署具有成本效益的情况下ღ★★,使用数据加速硬件来实现高性能和低延迟才有意义快播5.1官方下载ღ★★。
ASR模型对现代数据加速器来说是一种挑战ღ★★,通常需要手动调整以实现比平台主要性能规格的个位数效率更高的性能ღ★★。实时ASR工作负载需要高存储带宽以及高性能计算ღ★★。这些大型神经网络所需的数据通常存储在加速卡上的DDR存储器中ღ★★。将数据从外部存储器传输到计算平台是该工作负载中的性能瓶颈ღ★★,特别是在进行实时部署的时候ღ★★。
图形处理器(GPU)架构是基于数据并行模型ღ★★,较小的批处理量(batch size)会导致GPU加速硬件的利用率较低ღ★★,从而导致成本增加和效率降低ღ★★。硬件加速解决方案数据表(以TOPS即每秒万亿次操作为单位进行衡量)中的性能数据并不能总是很好地表示实际性能ღ★★,因为许多硬件加速器件由于与器件架构相关的瓶颈而未得到充分利用ღ★★。这些数据以TOPS为单位ღ★★,强调了加速器计算引擎的处理能力ღ★★,但忽略了关键因素ღ★★,例如外部存储器的批处理量尊龙平台人生就是博官网下载ღ★★、速度和规模ღ★★,以及在外部存储器和加速器计算引擎之间传输数据的能力ღ★★。对于ASR工作负载ღ★★,关注存储带宽和在加速器内高效地传输数据为加速器性能和效率的实现提供了更强有力的指导ღ★★。
加速器必须具有更大的外部存储规模和非常高的带宽ღ★★。当今的高端加速器通常使用高性能的外部存储器ღ★★,存储规模达8-16 GBღ★★,运行速度可高达4 Tbpsღ★★。它还必须能够将这些数据传输到计算平台而不会影响性能ღ★★。然而ღ★★,无论如何去实现高速存储和计算引擎之间的数据通道尊龙平台人生就是博官网下载ღ★★,它几乎在所有情况下都是系统性能的瓶颈ღ★★,特别是在实时ASR这样的低延迟应用中ღ★★。
FPGA设计旨在存储和计算之间提供最佳的数据路由通道ღ★★,从而为这些工作负载提供一个出色的加速平台ღ★★。
在机器学习(ML)加速领域中ღ★★,已有FPGA架构宣称其推理速度可高达150 TOPSღ★★。然而在实际应用中ღ★★,尤其是在那些对延迟敏感的应用(如ASR)中ღ★★,由于无法在计算平台和外部存储器之间高效地传输数据ღ★★,所以这些FPGA远不能达到其声称的最高推理速度ღ★★。由于数据从外部存储器传输到FPGA器件中的计算引擎时出现了瓶颈ღ★★,从而造成了这种性能上的损失ღ★★。Achronix Speedster7t架构在计算引擎ღ★★、高速存储接口和数据传输之间取得了良好的平衡ღ★★,使Speedster7t FPGA器件能够为实时ღ★★、低延迟的ASR工作负载提供高性能ღ★★,可实现最高TOPS速率的64%等级ღ★★。
在Speedster7t上搭载的机器学习处理器(MLP)是一种优化的矩阵/向量乘法模块ღ★★,能够在单个时钟周期内进行32次乘法和1次累加ღ★★,是计算引擎架构的基础ღ★★。AC7t1500器件中的Block RAM(BRAM)与2560个MLP实例都处于同一位置ღ★★,这意味着更低的延迟和更高的吞吐量ღ★★。
借助于这些关键的架构单元ღ★★,Myrtle.ai的MAU低延迟ღ★★、高吞吐量的ML推理引擎已集成到Speedster7t FPGA器件中ღ★★。
在构建最佳的ASR解决方案时ღ★★,集成了之前提到的来自Myrtle.ai的MAU推理引擎ღ★★,使用了2560个MLP中的2000个ღ★★。由于MLP是一个硬模块ღ★★,它可以运行在比FPGA逻辑阵列本身更高的时钟速率上ღ★★。
在AC7t1500器件中使用了8个GDDR6存储控制器ღ★★,它们总共可提供高达4 Tbps的双向带宽ღ★★。如上所述ღ★★,强大的计算引擎和大容量ღ★★、高带宽的存储依赖于高速ღ★★、低延迟和确定性的数据传输ღ★★,以提供低延迟ASR应用所需的实时结果ღ★★。
随后这些数据进入到Speedster7t的二维片上网络(2D NoC)ღ★★。该二维片上网络是Speedster7t架构中的另一种硬结构ღ★★,时钟频率高达2 GHzღ★★,可与所有I/Oღ★★、内部硬模块和FPGA逻辑阵列本身互连ღ★★。凭借20 Tbps的总带宽ღ★★,2D NoC提供了最高的吞吐量ღ★★,并通过适当的实现方式ღ★★,可以在外部GDDR6存储器和支持MLP的计算引擎之间提供最具确定性的尊龙平台人生就是博官网下载ღ★★、低延迟的数据传输ღ★★。
与其他竞争性厂商的解决方案不同ღ★★,2D NoC消除了Speedster7t ASR解决方案在存储器和计算引擎之间的任何瓶颈ღ★★,在这些非常低的批处理速率下ღ★★,硬件加速器的利用率达到最佳状态ღ★★。
将所有这些功能放在一个roofline图中ღ★★,就可以清楚地说明Achronix Speedster7t器件在低延迟ASR应用中相对于其他竞争性FPGA解决方案的优势ღ★★。该roofline图使用了由每个制造商公布的经过验证的TOPS数据ღ★★,展示了这些器件在实际应用中可以达到的效果ღ★★。
下图显示了一个有效TOPS的roofline模型ღ★★,它使用了Achronix为微基准(GEMV和MLP)和测试而构建的子集ღ★★,以及公司A [4] [5]和公司B(基于架构)发布的数据快播5.1官方下载ღ★★。橙色的竖线毫秒音频模块的最佳操作点ღ★★,用于低延迟ღ★★、实时ASR数据流应用ღ★★。在这个最佳操作点上ღ★★,Achronix的有效TOPS比公司A提高了44%ღ★★,比公司B的解决方案提高了260%ღ★★。
大多数ASR解决方案由Googleღ★★、Amazonღ★★、Microsoft Azure和Oracle等大型云服务提供商提供ღ★★。随着运营规模的扩大ღ★★,以及这些产品在市场上取得的成功ღ★★,在这些云API基础上构建产品的服务提供商面临着越来越高的成本压力ღ★★。较大规模的ASR提供商公开宣传成本从每分钟0.01美元到0.025美元不等[6]ღ★★、[7]ღ★★、[8]ღ★★、[9]ღ★★。行业报告显示ღ★★,呼叫中心的平均呼叫时间约为5分钟ღ★★。考虑一个大型企业数据或呼叫中心服务公司每天要处理50,000通电线分钟ღ★★。按照上述费率计算ღ★★,ASR处理成本将是每天1,500至6,000美元或每年50万至200万美元ღ★★。Achronix和Myrtle.ai的解决方案可以集成在一个加速卡上支持处理4000个RTSღ★★,每天可以处理超过一百万次的呼叫ღ★★。
有许多因素会决定独立ASR设备的成本ღ★★。在这个特定示例中ღ★★,假设Achronix ASR加速解决方案是通过基于FPGA的PCIe卡提供ღ★★,并集成到基于x86架构的2U服务器中ღ★★。该设备从系统集成商那里出售ღ★★,价格可能为50,000美元ღ★★,而每年运行服务器的成本可能是这个成本的两倍ღ★★。这样一来ღ★★,本地ASR设备第一年的费用就达到了10万美元ღ★★。将这种本地解决方案与云API服务进行比较ღ★★,终端用户可以在第一年节省5到20倍的费用尊龙平台人生就是博官网下载ღ★★。
高度紧凑的系统使企业能够随着其业务的增加而扩展ღ★★,而无需依赖日益昂贵的ASR云APIღ★★,也无需构建庞大的数据中心基础设施来提供本地解决方案ღ★★。
CAI中的ASR功能要求RNN机器学习算法具有低延迟ღ★★、高吞吐量的计算ღ★★,这对现代AI加速器提出了挑战ღ★★。声称推理速度高达150 TOPS的FPGA硬件加速器在大型计算引擎和高速存储器之间传输数据时会遇到瓶颈ღ★★,这些瓶颈可能导致硬件利用率低至5%ღ★★。Achronix和Myrtle.ai携手推出一个ASR平台ღ★★,该平台由一个200Wღ★★、x16 PCIe Gen4加速卡和相关软件组成ღ★★,可以同时支持多达4000个RTSღ★★,每24小时可以处理多达100万个ღ★★、时长5分钟的转录文件ღ★★。将单台x86服务器上的PCIe加速卡与云ASR服务的成本相比ღ★★,第一年的资本支出(CAPEX)和运营成本(OPEX)就可以降低高达90%ღ★★。
一种新的医生已经入驻检查室ღ★★,还没有名字ღ★★。事实上ღ★★,这些医生甚至连脸都没有ღ★★。人工智能已经进入世界各地的医院ღ★★。那些对机器人收购心存警惕的人没有什么可担心的ღ★★;人工智能在 医疗 保健方面的应用ღ★★,并不一定会使人类思维与机器之间发生冲突ღ★★。人工智能在检查室里扩张ღ★★、增强ღ★★,有时会缓解医生紧绷的神经ღ★★,这样医生就可以为病人更好的服务ღ★★。 被称为“未来医学家”的Bertalan Meskóღ★★,将人工智能视为“21世纪听诊器”ღ★★。他的评估可能比预期的更准确ღ★★。虽然各种技术和测试为他们提供了诊断和治疗患者所需的全部信息ღ★★,但医生已经负担了过重的临床和行政责任ღ★★,并且对大量可用信息进行分类是一项艰巨的任务ღ★★,几乎是不可能完成的任务ღ★★。 这就是21世纪听诊器存在的意义ღ★★。 尽管如
联发科一度想买的公司ღ★★,现在市值高达8千亿元ღ★★,那是抢在台北电脑展开幕前一天ღ★★,股价创下历史新高的绘图处理器晶片大厂辉达(NVIDIA)ღ★★。董事长黄仁勋意气风发地召开媒体见面会ღ★★,没有华丽舞台ღ★★、没有繁复投影片ღ★★,全场却聚精会神ღ★★。辉达一度抢进手机处理器市场失利ღ★★,股价一路跌到11块美金ღ★★,还传出联发科有意并购ღ★★。但过去一年ღ★★,跟上人工智慧ღ★★、VR等大趋势的辉达股价大涨一倍ღ★★,如今市值已是联发科的2.4倍ღ★★。 《Fortune》点名辉达是美国标普500指数科技股中表现最好的公司ღ★★,今年以来股价涨幅超过35%ღ★★,已从传统电脑绘图晶片商变身大数据时代的受惠族群ღ★★,从人工智慧ღ★★、自动驾驶到虚拟实境ღ★★,无役不与ღ★★,今年第一季缴出亮丽财报ღ★★,营收13.1亿美元ღ★★,净利较去年同期激
据路透社消息ღ★★,谷歌宣布将成立一全球咨询委员会ღ★★,以探讨人工智能或其它新技术的伦理问题ღ★★。谷歌高级副总裁Kent Walker表示ღ★★,其计划于2019年公布一份人工智能伦理问题报告ღ★★。 在谷歌官方博客中显示ღ★★,其新成立的“先进技术外部咨询委员会”(Advanced Technology External Advisory Council)由八名成员组成ღ★★,其中包括来自巴斯大学计算副教授乔安娜·布赖森(Joanna Bryson)ღ★★、前美国副国务卿威廉·伯恩斯(William J. Burns)ღ★★,以及休斯顿无人驾驶飞机初创公司Trumbull的首席执行官戴恩·吉布斯(Dyan Gibbens)ღ★★。该委员会将于4月开始举行四次会议ღ★★。 目前ღ★★,谷歌已经在内
超低功耗ღ★★,高性能AI技术的领先提供商BrainChip Holdings Ltd.(ASXღ★★:BRN)今天宣布ღ★★,已开始量产用于边缘AI设备的Akida AKD1000神经拟态处理器芯片ღ★★。 “我感谢我们的工程团队ღ★★,他们在过去的八个月中为发布Akida技术进行量产而努力工作ღ★★,并感谢我们的早期客户帮助我们进入市场准备阶段” BrainChip抢先体验计划(EAP)客户购买了Akida评估系统ღ★★,用于各种边缘应用ღ★★。在对AKD1000工程样片进行测试之后ღ★★,BrainChip在性能ღ★★,效率和可扩展性方面改进了设计ღ★★,增加了额外的工作模式快播5.1官方下载ღ★★,以使其功耗甚至比其原始设计指标还要低ღ★★。 BrainChip首席执行官Peter van der Mad
据英国《卫报》近日报道ღ★★,为培养顶尖人才并将他们留在欧洲ღ★★,英国ღ★★、法国ღ★★、德国ღ★★、瑞士ღ★★、以色列和荷兰科学家联合发表公开信ღ★★,提议在欧洲创建一个大型跨国研究所ღ★★,专门开展世界级的人工智能(AI)研究ღ★★。他们相信ღ★★,这样做将带来新的就业岗位并提振经济ღ★★,也可使欧洲科学家在AI将如何改变世界方面拥有发言权ღ★★。 拟建的AI研究所被命名为“欧洲学习与智能系统研究所”(Ellis)ღ★★。该研究所将在英国等多个国家设立主要研究中心ღ★★,每个中心都将雇用数百名计算机工程师ღ★★、数学家和其他科学家ღ★★。参与国将把该研究所视为政府间组织ღ★★,并为其提供资金ღ★★。 提议建立该研究所的科学家在公开信中敦促各国政府采取行动ღ★★。他们称ღ★★,在AI方面ღ★★,欧洲已经落后于美国和中国ღ★★,目前全球大部分领先的AI公司和
富邦证券点名ღ★★,半导体供应链主要受惠 AI 商机ღ★★,关键将在「 ASIC ღ★★、硅智财IPღ★★、内存模块ღ★★、传感器」四领域ღ★★。下面就随网络通信小编一起来了解一下相关内容吧ღ★★。 随着 AI 在机器智能学习发展的突破ღ★★,富邦证券预估ღ★★,2020~2025年 AI 应用市场规模将以38%的年复合成长率(CAGR)攀升到2,300亿美元ღ★★,若从2017年算起CAGR更高达45%ღ★★,就AI所创造的半导体芯片产值ღ★★, 也将由目前约9亿美元的水平ღ★★,增长至2025年超过700亿美元ღ★★,CAGR达62%ღ★★,来自车用ღ★★、深度学习ღ★★、语音识别与相关应用内存等比重最高ღ★★。 边缘运算 催生 ASIC 芯片需求 富邦证券指出ღ★★,机器在学习的过程中ღ★★,主要是利用神经网络
集微网消息ღ★★,拓墣产业研究院指出ღ★★,AI (人工智能) 对半导体产业的影响ღ★★,已从销售机会与生产方式升级两项指标逐步显现ღ★★,包括 OS 厂商ღ★★、EDAღ★★、IP 厂商ღ★★、IC 芯片厂商都在2017年针对AI应用推出新一代的架构与产品规划ღ★★,AI 带来的影响将在2018年持续扩大ღ★★,预期 2018 年至 2022 年半导体年复合成长率将为 3.1%ღ★★,AI将扮演半导体主要成长动能ღ★★。 拓墣产业研究院研究经理林建宏指出ღ★★,AI 正从两种不同的路径影响半导体产业ღ★★,一个是销售机会ღ★★,包含新的应用带来新产品与新技术ღ★★,像是更多的传感器ღ★★、数学加速器ღ★★、存储单元与通讯能力ღ★★,落实服务ღ★★、建设通讯骨干快播5.1官方下载ღ★★、并同步升级数据中心与服务器ღ★★。另一方面ღ★★,则带来半导体产业生产方式的升级ღ★★。 从销售方
1月9日CSE 2024拉开帷幕ღ★★,相比2023年电动汽车抢占热门ღ★★,这一次的绝对主角是AIღ★★。 当下ღ★★,无论是半导体芯片ღ★★,还是汽车或是智能手机尊龙平台人生就是博官网下载ღ★★、家电等ღ★★,都纷纷接入AI技术ღ★★,而在汽车领域ღ★★,以ChatGPT为代表的AI大语言模型的爆火及上车ღ★★,也使得AI技术正在得到更深层次的应用ღ★★。 比如ღ★★,在本届CESღ★★,大众集团发布了将ChatGPT融合到其IDA语音助手ღ★★;奔驰发布的全新MBUX虚拟助理ღ★★,也应用了生成式AI技术和主动式智能技术ღ★★;基于亚马逊Alexa 大语言模型(LLM)的生成式AI技术ღ★★,宝马集团也推出了全新一代宝马智能个人助理ღ★★。 其实ღ★★,从1956年计算机专家约翰·麦卡锡提出“人工智能”概念开始ღ★★,从以CNNღ★★、RNN为代表的小模型ღ★★,到T
大模型的智能座舱 /
时代结项源码与资料.rar target=_blank
SOC芯片的低功耗设计 target=_blank
直播回放ღ★★: 英特尔 FPGA 可编程加速平台介绍ღ★★,走近 AIღ★★、数据中心ღ★★、基因工程等大咖工程
解锁【W5500-EVB-Pico】ღ★★,探秘以太网底层ღ★★,得捷电子Follow me第4期来袭ღ★★!
随着生活水平的提高ღ★★,人们对电子产品的要求也越来越高ღ★★,很多电子产品都用上了显示屏ღ★★,像家电ღ★★、汽车ღ★★、医疗等很多产品都配有显示屏ღ★★,而且这些 ...
电动机的过载保护指的是在电机承受超过其额定负载时ღ★★,通过一系列保护措施保护电动机的安全运行ღ★★。电动机有多种过载保护方法ღ★★,其中最常见的方 ...
变频器是一种电力调节设备ღ★★,它根据负载需求调整电力频率ღ★★,以实现对电动机速度的精确控制ღ★★。在使用变频器的过程中ღ★★,正确的接线和配线是非常重 ...
电动机绝缘电阻的降低可能有多种原因尊龙平台人生就是博官网下载ღ★★,包括环境因素ღ★★、材料老化ღ★★、机械损伤ღ★★、温度过高ღ★★、潮湿等ღ★★。要提高电动机的绝缘电阻ღ★★,可以从以下几个方面 ...
在什么情况下应测量电动机的绝缘电阻?电动机的绝缘电阻是指电机绝缘材料的绝缘性能ღ★★。它是一个重要的参数ღ★★,用来评估电机绝缘系统的健康状况 ...
站点相关ღ★★:嵌入式处理器嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科尊龙凯时人生就是博ღ★★,尊龙凯时 - 人生就是搏!尊龙凯时 - 人生就是搏!ღ★★。尊龙凯时官网入口ღ★★,尊龙凯时 -人生就是博!ღ★★,人工智能ღ★★,尊龙凯时人生就是搏ღ★★,Z6尊龙官网ღ★★。
“为爱守护尊龙凯时 -人生就是博!之家” 营造有爱温馨的浴室空间,守护每一个家庭的爱和幸福,是尊龙凯时 -人生就是博!卫浴一直的坚持
地址:广东省潮安县古巷镇古五开发区尊龙凯时 -人生就是博!
网址:http://www.gzbaituo.com
客服热线:0086-768-6838891
尊龙凯时 -人生就是博!