第一个,基于FPGA人脸验证的招生系统
主要工作与成果
挑战:信息可靠、验证用户身份准确率,部署神经网络(计算密集型,要加速)
前端VUE+后端node→数据库mysql,FPGA连接后端
FaceNet,输入图像→主干网络→L2标准化→嵌入特征→三元组损失Triple loss(锚示例,正示例,负示例)
数据集CASIA-FaceV5(2300),并裁剪人脸,训练100代
不同主干网络实验结果对比:inception-resnet-v1,mobilenetv1,mobilenetv2,mobilenetv1-shallow
选用:mobilenetv2
选择维度,80 128 176对比
人脸认证应用架构
*zynq端:权重在DDR,SD卡,IP核5个,(普通卷积IP,深度卷积IP,逐点卷积IP,shortcutIP,特征向量生成IP)
前端模组(PC摄像头,MTCNN检测人脸,裁剪人脸)→(TCP)→后端模组(K-D tree,mysql,Node.js)
后端模组→(Socket)→ZYNQ
一、普通卷积IP:输入照片(3,224,224),填充1,卷积层(32,3,3,3),步长2,输出特征图(32,112,112)
最小输入(3,57,57),卷积核(8,3,3,3),输出(8,28,28)
数据加载:axi4协议的突发传输,DDR→PL
数据加载:pipeline流水
寻址→读数→赋值
寻址→读数→赋值
卷积层循环4次,dataflow最优化
输出层循环16次,乒乓流水
二、逐通道DW卷积:输入层→深度卷积→输出层
最小块:
步长为1:输入特征图(8,10,10)卷积层(8,3,3)输出层(8,7,7)
步长为2:输入特征图(8,16,16)卷积层(8,3,3)输出层(8,7,7)
dw卷积计算函数loop=HWC/7/7/8
三、逐点PW卷积
输入特征图(8,7,7)卷积层(8,8,1,1)输出特征图(8,7,7)。
输入通道M,输出通道N,特征图大小HW,总的循环次数loop=MNWH/8/8/7/7
四、shortcutIP:
将输入和输出进行相加,方法:pipeline+unroll
五、特征向量生成IP:
1、平均池化,77图像,相加除以49,得11图像
2、128维全连接
最小输入(32,7,7),输出(128),循环40次。
上板验证对比:CPU(PC),CPU(服务器),FPGA,GPU,功率,时间,准确性。
老师:
在FPGA里面跑的不叫部署网络,叫电路。
讲好为什么要裁剪。
讲好,足够准确的网络,足够简单的网络的选用原因。
三元组损失Triple loss,重点讲清楚
第二个、做了一个电商系统+推荐算法
主要处理了三个问题
1、稀疏性问题:数据填充:填充项目内容信息、用户对项目的标签信息、用户对项目的隐式反馈数据。
数据预处理:矩阵划分、聚类、矩阵降维(SVD算法,Funk_SVD算法,SVD++算法)等机器学习的方法。
2、冷启动问题:随机推荐法、平均值法、众数法。
3、扩展性问题:降维、聚类、分类;
流程:老用户→原始数据→数据脱敏→SVD降维→用户因子矩阵→K-Means聚类→预处理后数据→本簇内计算相似邻居→喜好度计算→产生推荐。
第三个,基于RGB和DSM的遥感图像地物提取方法研究
1、RGB图像含有地物的颜色纹理特征
2、DSM数据含有地物的高度特征
3、融合多模态特征提升地物提取精度
4、方法一:基于单一RGB的语义分割算法:全卷积神经网络
方法二:基于RGB-D的语义分割算法:数据层融合(4通道输入),决策层融合(双/多分支网络)。
5、研究内容:基于注意力机制的多模态多层次特征融合网络
①地物复杂,特征易混淆(CAM模块)
②下采样信息损失,增大感受(空洞卷积)
③保留网络中间层特征(多模态多层次特征融合)
④融合低阶信息特征和高阶语义特征(跳跃连接)
⑤提升上采样准确率(残差上采样)
基于多模态协同融合和双注意力机制的语义分割算法
6、研究过程
①数据预处理(图像标注、图像分割、数据增强)
②已有语义分割算法实验(基于单一RGB,基于RGB-D)
③问题分析(非目标地物的干扰,模型对中间层特征的利用,多模态数据融合的方法)
④算法设计(注意力机制,多模态多层次特征融合,多模态协同融合)
⑤实验对比验证(对比实验,消融实验)
⑥结果分析总结(可视化分析,总结与展望)
7、数据集:矿区地物数据集、Postdam地物数据集
8、评价指标:混淆矩阵、总体识别精度OA,平均交并比MIoU,Kappa系数,精准率,召回率,F1度量
9、改进点:多模态协同融合模块MMF,改进的双注意力机制DAM
三个,工作量,都好大,我离毕业还剩两年了,还需要多多学习,赶紧学习呀。