第一个，基于FPGA人脸验证的招生系统
主要工作与成果
挑战：信息可靠、验证用户身份准确率，部署神经网络（计算密集型，要加速）
前端VUE＋后端node→数据库mysql，FPGA连接后端
FaceNet，输入图像→主干网络→L2标准化→嵌入特征→三元组损失Triple loss（锚示例，正示例，负示例）
数据集CASIA-FaceV5（2300），并裁剪人脸，训练100代
不同主干网络实验结果对比：inception-resnet-v1，mobilenetv1，mobilenetv2，mobilenetv1-shallow
选用：mobilenetv2
选择维度，80 128 176对比
人脸认证应用架构
*zynq端：权重在DDR，SD卡，IP核5个，（普通卷积IP，深度卷积IP,逐点卷积IP，shortcutIP，特征向量生成IP）
前端模组（PC摄像头，MTCNN检测人脸，裁剪人脸）→（TCP)→后端模组（K-D tree，mysql，Node.js)
后端模组→（Socket）→ZYNQ
一、普通卷积IP：输入照片（3,224,224），填充1，卷积层（32,3,3,3），步长2，输出特征图（32，112,112）
最小输入（3,57,57），卷积核（8,3,3,3），输出（8，28,28）
数据加载：axi4协议的突发传输，DDR→PL
数据加载：pipeline流水
寻址→读数→赋值
寻址→读数→赋值
卷积层循环4次，dataflow最优化
输出层循环16次，乒乓流水
二、逐通道DW卷积：输入层→深度卷积→输出层
最小块：
步长为1：输入特征图（8，10,10）卷积层（8,3,3）输出层（8,7,7）
步长为2：输入特征图（8,16,16）卷积层（8,3,3）输出层（8,7,7）
dw卷积计算函数loop=HWC/7/7/8
三、逐点PW卷积
输入特征图（8,7,7）卷积层（8,8,1,1）输出特征图（8,7,7）。
输入通道M，输出通道N，特征图大小HW，总的循环次数loop=MNWH/8/8/7/7
四、shortcutIP：
将输入和输出进行相加，方法：pipeline+unroll
五、特征向量生成IP：
1、平均池化，77图像，相加除以49，得11图像
2、128维全连接
最小输入（32,7,7），输出（128），循环40次。
上板验证对比：CPU（PC),CPU(服务器），FPGA,GPU，功率，时间，准确性。
老师：
在FPGA里面跑的不叫部署网络，叫电路。
讲好为什么要裁剪。
讲好，足够准确的网络，足够简单的网络的选用原因。
三元组损失Triple loss，重点讲清楚
第二个、做了一个电商系统＋推荐算法
主要处理了三个问题
1、稀疏性问题：数据填充：填充项目内容信息、用户对项目的标签信息、用户对项目的隐式反馈数据。
数据预处理：矩阵划分、聚类、矩阵降维（SVD算法，Funk_SVD算法，SVD++算法）等机器学习的方法。
2、冷启动问题：随机推荐法、平均值法、众数法。
3、扩展性问题：降维、聚类、分类；
流程：老用户→原始数据→数据脱敏→SVD降维→用户因子矩阵→K-Means聚类→预处理后数据→本簇内计算相似邻居→喜好度计算→产生推荐。
第三个，基于RGB和DSM的遥感图像地物提取方法研究
1、RGB图像含有地物的颜色纹理特征
2、DSM数据含有地物的高度特征
3、融合多模态特征提升地物提取精度
4、方法一：基于单一RGB的语义分割算法：全卷积神经网络
方法二：基于RGB-D的语义分割算法：数据层融合（4通道输入），决策层融合（双/多分支网络）。
5、研究内容：基于注意力机制的多模态多层次特征融合网络
①地物复杂，特征易混淆（CAM模块）
②下采样信息损失，增大感受（空洞卷积）
③保留网络中间层特征（多模态多层次特征融合）
④融合低阶信息特征和高阶语义特征（跳跃连接）
⑤提升上采样准确率（残差上采样）
基于多模态协同融合和双注意力机制的语义分割算法
6、研究过程
①数据预处理（图像标注、图像分割、数据增强）
②已有语义分割算法实验（基于单一RGB,基于RGB-D)
③问题分析（非目标地物的干扰，模型对中间层特征的利用，多模态数据融合的方法）
④算法设计（注意力机制，多模态多层次特征融合，多模态协同融合）
⑤实验对比验证（对比实验，消融实验）
⑥结果分析总结（可视化分析，总结与展望）
7、数据集：矿区地物数据集、Postdam地物数据集
8、评价指标：混淆矩阵、总体识别精度OA，平均交并比MIoU，Kappa系数，精准率，召回率，F1度量
9、改进点：多模态协同融合模块MMF，改进的双注意力机制DAM
三个，工作量，都好大，我离毕业还剩两年了，还需要多多学习，赶紧学习呀。
