《基于硅基光子芯片的神经网络算法思考 - 计算机网络》由会员分享，可在线阅读，更多相关《基于硅基光子芯片的神经网络算法思考 - 计算机网络（5页珍藏版）》请在装配图网上搜索。
1、基于硅基光子芯片的神经网络算法思考 - 计算机网络 计算机网络论文本文是一篇计算机网络论文，本文的研究基于一种硅基光子计算芯片，分析了光子计算芯片的工作原理、物理构造和运算特点，介绍了基于光子计算芯片的光电混合计算系统及其运作方式。依托光电混合计算系统，充沛结合光学元件计算原理和特性。1 引言1.1 研究背景及意义近年来，随着现代科学技术的快速开展，人类社会已经进入到移动互联网时代。人们通过个人电脑、智能手机、pad 等设备可以从互联网获取大量的信息，直接催生了以大数据、机器学习、深度学习等为代表的一系列人工智能技术1。2022 年，谷歌公司研发的 AlphaGo2与世界围棋冠军柯洁在中国浙江
2、上演了一场“人机大战，最终 AlphaGo 以为 3:0 绝对优势大败柯洁，由此人工智能技术逐步进入公众视野，进一步蓬勃开展。深度学习技术是人工智能技术的一个重要领域，也是当今人工智能大爆炸的核心驱动3，为人类奉献出巨大的社会效益和经济效益。基于神经网络的深度学习技术在图像辨认、自然语言处理等领域取得了巨大的成功，并且展现出强劲的开展动力和应用前景。深度学习技术中最广泛使用的神经网络包括卷积神经网络Convolutional Neural Network，CNN、深度神经网络Deep Neural Network，DNN以及循环神经网络Recurrent Neural Network，RNN4
3、，其中卷积神经网络作为计算机视觉领域的根底网络结构发挥了极其重要的作用。自从 2022 年 Krizhevsky 等人在 ILSVRC-2022 竞赛中提出 AlexNet5，卷积神经网络引起研究人员的极大关注，经过不断的开展和完善，衍生出许多功能强大的计算机视觉算法，广泛应用于各行各业。虽然近十年卷积神经网络在功能和准确率方面取得了长足的进步，但是这些算法结构复杂，需要运算的参数也越来越多，处理过程中存在大量的浮点运算，示例 AlexNet 算法辨认一张图片需要完成 14 亿次的浮点运算。实际项目中，若一个自动驾驶系统有 8 个 10801920 分辨率的 8 比特RGB 摄像头, 每秒检测
4、 10 帧，那么需要系统具有 3.8Gb/s 的数据吞吐和处理能力6。丰盛的功能背后需要高性能的硬件运算能力作为撑持，部署先进的神经网络算法对硬件的计算能力提出了更高的要求。针对神经网络算法设计新型的硬件计算结构成为当下人工智能领域研究的热点问题。基于神经网络算法的新型硬件结构，目前主要有图形处理器Graphics Processing Unit，GPU；现场可编程门阵列7Field Programmable Gate Array，FPGA、专用集成芯片Application Specific Integrated Circuit，ASIC，示例谷歌公司推出的张量处理器Tensor Proce
5、ss Unit，TPU、类脑型芯片示例清华大学团队研制的“天机类脑芯片9等等。1.2 研究现状深度卷积神经网络 人工神经网络(ANN)是目前应用最广泛的人工智能算法之一，最初是为了在软件和专用硬件11中模拟适应性生物神经系统。人工神经网络的研究可以追溯到 70年前，研究者对人工神经网络的关注度时冷时热。近十年来，在一些研究人员的开创性工作之后，才引发强烈的重视。多层人工神经结构可以学习复杂的非线性函数映射，学习的过程中需要提供足够的计算资源和训练数据，而且与传统的办法不同，其输出结果可以根据训练数据和不同特征层的输出进行缩放。人工神经网络在鲁棒模式辨认方面取得了显著的成果之后，无论是在学术还是
6、工业研究方面，该领域的知识体系都出现了指数级的增长。此外，多层神经网络大大减少了建立经典模式辨认器所需要的大量手工工作。实际上，人工神经网络算法可以看做一个黑箱系统，需要从非结构化、高维数据中获取特征数据，从而进行分类和辨认。卷积神经网络属于人工神经网络的一个分支，最早由 LeCun12等人在 1998 年提出，是受人类视觉系统启发而产生的一类神经网络，被誉为卷积神经网络的“开山之作。随后 Hinton13等人在 2022 年提出的深度置信网络Deep Belief Networks，DBN训练，引领了今天的深度学习时代，他们所提出的深度置信网络是第一个经过有效训练的深层次网络结构。而在此之前
7、，训练深层架构几乎是不可行的。论文中提到深层次多隐藏层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类。另外，深度神经网络在训练上的难度，Hinton 团队提出可以通过“逐层初始化网络中的权重来有效克服。通过使用深度置信网络初始化权值构建的深度架构的性能优于之前的机器学习算法。深度置信网络被当作生初始化的分类模型，越来越多地被作为分类器使用，既在网络结构末端附加一个分类层，并使用标签进行监督学习，从而对整个网络结构的输出进行微调。在大多数应用中，这种对深层架构进行预训练的办法在标记数据的数量较少的情况下，也能在辨认手写数字、检测行人、时间序列预测
8、等方面有良好的表现14。近年来，深度置信网络在语音辨认建模中也展现出优异的性能15，该模型相比其他先进模型，比方隐马尔可夫模型和高斯混合模型的性能提高 20%。2 光学神经网络理论根底2.1 人工神经网络根底理论本文中研究的人工神经网络算法主要以卷积神经网络为主。卷积神经网络的低层网络结构一般包括卷积层和池化层的不同组合，卷积层考虑到输入像素之间的空间关系，从输入图像中提取重要的特征，在提取图像的高维度特征后，结合全连接层或者 softmax 等算法来进行分类，尤其适合进行计算机视觉领域的任务。2.1.1卷积层卷积层的灵感来自大脑的视觉皮层。每当我们眼睛看到物体时，大脑中一系列神经元被激活，不
9、同的神经元会检测到不同的特征。更深层次的神经元将检测更高级更复杂的特征，以此来辨认人眼所看到的内容。图像卷积借鉴了传统图像处理中滤波算子的作用，每个卷积核作为一个滤波算子来提取图像的局部特征信息。卷积过程如图 2-1 所示，一个卷积核在输入特征图上滑动，即依次扫描特征图的每行每列，每次滑动的长度成为步长，滑动窗口中的特征值与卷积核中的权重值做矩阵元素的点乘操作后再累加输出一个特征元素那么完成一次卷积，当滑动全部完成时即输出一个二维的输出特征图，最后再加上偏置。为了避免卷积过程中输出特征图变小，通常需要对输入特征图进行 padding 操作，即填充像素。当卷积核滑动时的步长为 1 时，需要对输入
10、特征图的四周填充 0 值，使得输出特征图的维度与输入特征图保持一致，这种卷积的方式称为 SAME。不填充 0 进行卷积时的方式称为 VAILD。2.2 光学计算模型伴随着大数据和人工智能时代的来临，如何低功耗、高效率地对海量的数据进行处理和运算，已成为社会中各个行业的迫切需求。同时随着硅基光电子计算的开展，光学计算技术应运而生。利用集成的光子元件来实现光学计算系统，发挥光子带宽高、低功耗的优势，逐渐成为光学领域的研究重点之一。本节介绍几种先进的用光学器件实现人工神经网络的光学计算模型，然后对其分析和比拟，阐明使用光学器件实现人工神经网络所面临的问题。2.2.1全光学脉冲神经网络2022 年，F
11、eldmannl 等人在 Nature 上发表的论文中提出了一种全光脉冲神经网络All-optical spiking neurosynaptic networks49，这种光学神经网络系统能够以有监督和无监督的方式能够完成模式辨认的原型人工智能任务。研究人员设计了通过组合多个光子神经元的互连体系结构，如图 2-7 所示。整个网络由一个输入层和一个输出层组成，通过 N 个隐藏层进行光学连接。每个隐藏层将前一层的输出作为输入，并将其输出传递到下一层。输入层是光学接口，接收要处理的数据并将其分发到网络的下一层。网络的单层由收集器、分配器及光子神经元组成。收集器收集来自前一层的所有输出即使用环形谐振
12、器将上一层的输出复用到单个波导上，然后由分布器再次使用环形谐振器进行多路分解将这些输出均匀地分布到该隐藏层中的 N 个神经元。利用所设计的分层结构，实验中采用了一个单层神经突触系统，使用了四个神经元来实现 ABCD 四个字母的辨认，每个神经元具有 15 个突触来控制权重，对应输入的 15 个像素的字母图像，整个系统由 140 多个光学元件组成。3 光电混合神经网络计算系统 . 223.1 系统整体架构 . 223.2 光学组件 . 234 面向光子计算芯片的神经网络算法设计 . 304.1 与光学组件匹配的卷积层算法设计 . 304.2 电域池化层算法设计 . 345 算法仿真实验和分析 .
13、415.1 卷积神经网络算法设计及实验 . 415.1.1算法模型训练平台及测试数据 .12计算机网络论文. 415.1.2卷积神经网络图像分类实验 . 425 算法仿真实验和分析5.1 卷积神经网络算法设计及实验评测中需要使用一个卷积神经网络结构来对第 4 章中所设计的基于光电混合神经网络算法进行验证和分析。现今的深度卷积神经网络算法一般分为网络的训练和推理两个阶段，训练阶段主要利用 CPU 和 GPU 来实现，推理阶段是将训练完成的网络模型部署到 ARM、FPGA 等芯片或效劳器系统中。5.1.1算法模型训练平台及测试数据本节设计的卷积神经网络算法首先在 PC 平台实现训练阶段，操作系统采
14、用 64位的 Windows 10，CPU 采用六核心六线程的 Intel Core i5-9400F，基于 CUDA 10.1的 Nvidia GTX1060Ti 显卡上进行训练，深度学习框架使用了 TensorFlow1.15.0 版本结合 Python 语言进行编程。表 5-1 列出了本节训练卷积神经网络所使用的软硬件环境。本实验所采用的训练集及测试集为 MNISTMixed National Institute of Standards and Technology手写体数字数据集，0-9 的 10 种数字对应 MNIST 数据集的 10 个类别，其中训练集包含 50000 张数字图像
15、，测试包含 10000 张数字图像，每一张图像都是分辨率为 2828 的灰度图像，是神经网络分类算法中常用的公开数据集。6 总结与展望6.1 本文工作总结随着深度学习和光学技术的开展，利用光子技术来实现神经网络算法逐渐引起研究人员的重视。本文的研究基于一种硅基光子计算芯片，分析了光子计算芯片的工作原理、物理构造和运算特点，介绍了基于光子计算芯片的光电混合计算系统及其运作方式。依托光电混合计算系统，充沛结合光学元件计算原理和特性，本文设计了面向光子计算芯片的神经网络算法模型，主要工作包括下列几个方面：1针对光子计算芯片矩阵-向量乘法的线性运算特点，本文提出将卷积神经网络算法中的线性计算使用光子计
16、算芯片来实现，设计了与光子计算芯片结构匹配的卷积层算法，并对芯片的光电接口速率不匹配的问题提出了卷积优化算法，同时在此根底上利用将全连接层通过矩阵维度变换的算法转变为卷积运算，在运算规模有限的光子计算芯片上可以进行卷积运算和任意维度的全连接层运算。2目前的光子计算芯片计算模式单一，无法承当卷积神经网络中的非线性计算，本文提出将卷积神经网络算法中的池化运算、激活函数等非线性计算由光电混合计算系统中的 FPGA 芯片中实现，设计了支持平均池化和最大池化的电域池化层算法。3为了对算法的性能进行评估，本文设计了基于 FPGA 的算法仿真系统，来模拟光电混合计算系统进行算法测试。通过 HLS 工具将所设计的算法生成基于Verilog 的 IP 核，并添加优化指令来模拟光子计算芯片的并行计算方式。仿真实验使用了 ZYNQ 开发板移植卷积神经网络结构的推理过程，实现对 MNIST 数据集的辨认，结果说明面向光子计算芯片的神经网络算法在速率上优于常规的卷积神经网络算法，证明光子计算芯片实现卷积神经网络算法的可靠性和灵活性。参考文献略12
基于硅基光子芯片的神经网络算法思考 - 计算机网络
