分类 学生 下的文章

20240611日记


端午三天结束了。。
其实早该认清自己的。
空有远大理想,没意志力。
专注学习只能30min,一玩玩几个小时。
对这种不受控的自己感觉好无奈,好厌恶。

如果再这么下去,今年也会一事无成的。

想做的事情很多,希望自己可以一点点来,每天比昨天强一点。

其实我喜欢什么,我喜欢在A的时间做B,在B的时间做C,这样感觉一心二用的时候赚了时间。

我还喜欢欺骗自己,欺骗自己能在1小时做了3小时的工作,这样这1小时里,我还能安心的玩一会。

有的事,我现在不干,以后也得干,甚至加倍干。

不要搞得,学的不专注,玩的也不痛快,睡得也不踏实,太难受了!


无所畏惧220606


“其实我一直都很努力”

“因为我知道,只有靠我自己努力,才能够得到我想要的东西”

这个世界上,别人不会在意你多努力,所以,你要更对得起你自己,共勉。

不知不觉两年过去了~时间不等人。再坚持一天吧,再多努力一点。

耐力、毅力、动力。

努力会让你有选择的权利。

人生就是要不断地尝试。

你的负担将变成礼物,你受的苦将照亮你的路。


20220524组会,听的预答辩


第一个,基于FPGA人脸验证的招生系统
主要工作与成果
挑战:信息可靠、验证用户身份准确率,部署神经网络(计算密集型,要加速)
前端VUE+后端node→数据库mysql,FPGA连接后端
FaceNet,输入图像→主干网络→L2标准化→嵌入特征→三元组损失Triple loss(锚示例,正示例,负示例)
数据集CASIA-FaceV5(2300),并裁剪人脸,训练100代
不同主干网络实验结果对比:inception-resnet-v1,mobilenetv1,mobilenetv2,mobilenetv1-shallow
选用:mobilenetv2
选择维度,80 128 176对比
人脸认证应用架构
*zynq端:权重在DDR,SD卡,IP核5个,(普通卷积IP,深度卷积IP,逐点卷积IP,shortcutIP,特征向量生成IP)
前端模组(PC摄像头,MTCNN检测人脸,裁剪人脸)→(TCP)→后端模组(K-D tree,mysql,Node.js)
后端模组→(Socket)→ZYNQ
一、普通卷积IP:输入照片(3,224,224),填充1,卷积层(32,3,3,3),步长2,输出特征图(32,112,112)
最小输入(3,57,57),卷积核(8,3,3,3),输出(8,28,28)
数据加载:axi4协议的突发传输,DDR→PL
数据加载:pipeline流水

    寻址→读数→赋值
         寻址→读数→赋值

卷积层循环4次,dataflow最优化
输出层循环16次,乒乓流水
二、逐通道DW卷积:输入层→深度卷积→输出层
最小块:

步长为1:输入特征图(8,10,10)卷积层(8,3,3)输出层(8,7,7)
步长为2:输入特征图(8,16,16)卷积层(8,3,3)输出层(8,7,7)

dw卷积计算函数loop=HWC/7/7/8
三、逐点PW卷积
输入特征图(8,7,7)卷积层(8,8,1,1)输出特征图(8,7,7)。
输入通道M,输出通道N,特征图大小HW,总的循环次数loop=MNWH/8/8/7/7

四、shortcutIP:
将输入和输出进行相加,方法:pipeline+unroll
五、特征向量生成IP:
1、平均池化,77图像,相加除以49,得11图像
2、128维全连接
最小输入(32,7,7),输出(128),循环40次。
上板验证对比:CPU(PC),CPU(服务器),FPGA,GPU,功率,时间,准确性。

老师:
在FPGA里面跑的不叫部署网络,叫电路。
讲好为什么要裁剪。
讲好,足够准确的网络,足够简单的网络的选用原因。
三元组损失Triple loss,重点讲清楚

第二个、做了一个电商系统+推荐算法
主要处理了三个问题
1、稀疏性问题:数据填充:填充项目内容信息、用户对项目的标签信息、用户对项目的隐式反馈数据。

          数据预处理:矩阵划分、聚类、矩阵降维(SVD算法,Funk_SVD算法,SVD++算法)等机器学习的方法。

2、冷启动问题:随机推荐法、平均值法、众数法。
3、扩展性问题:降维、聚类、分类;

流程:老用户→原始数据→数据脱敏→SVD降维→用户因子矩阵→K-Means聚类→预处理后数据→本簇内计算相似邻居→喜好度计算→产生推荐。

第三个,基于RGB和DSM的遥感图像地物提取方法研究
1、RGB图像含有地物的颜色纹理特征
2、DSM数据含有地物的高度特征
3、融合多模态特征提升地物提取精度
4、方法一:基于单一RGB的语义分割算法:全卷积神经网络
方法二:基于RGB-D的语义分割算法:数据层融合(4通道输入),决策层融合(双/多分支网络)。
5、研究内容:基于注意力机制的多模态多层次特征融合网络
①地物复杂,特征易混淆(CAM模块)
②下采样信息损失,增大感受(空洞卷积)
③保留网络中间层特征(多模态多层次特征融合)
④融合低阶信息特征和高阶语义特征(跳跃连接)
⑤提升上采样准确率(残差上采样)

       基于多模态协同融合和双注意力机制的语义分割算法

6、研究过程
①数据预处理(图像标注、图像分割、数据增强)
②已有语义分割算法实验(基于单一RGB,基于RGB-D)
③问题分析(非目标地物的干扰,模型对中间层特征的利用,多模态数据融合的方法)
④算法设计(注意力机制,多模态多层次特征融合,多模态协同融合)
⑤实验对比验证(对比实验,消融实验)
⑥结果分析总结(可视化分析,总结与展望)
7、数据集:矿区地物数据集、Postdam地物数据集
8、评价指标:混淆矩阵、总体识别精度OA,平均交并比MIoU,Kappa系数,精准率,召回率,F1度量
9、改进点:多模态协同融合模块MMF,改进的双注意力机制DAM

三个,工作量,都好大,我离毕业还剩两年了,还需要多多学习,赶紧学习呀。


220421组会心得


今天gpw师兄分享他的毕业设计。
基于ZYNQ的人脸识别。
在PC端先跑神经网络,调参。
然后将pytorch写成HLS。
学长说需要三大步
1、写HLS生成IP核
2、用vivado增加CPU核
3、用vitis IDE把网表变成电路下载到FPGA
平台是7020

因为7020没有PCIE,他的工作流程如下
1、PC端将照片发送至服务器。socket
2、服务器用网线将图片发送至zynq,tcp/ip
3、zynq对人脸照片提取特征向量(算法参数(权重)从sd卡中读取)
4、zynq将特征向量发送至服务器,进行比对
5、服务器将比对结果发送至pc端。结束。。

低效率做法:pc用JTAG发照片至ZYNQ ,zynq用uart将返回值发送至pc。

优化的地方主要在HLS处。