静态流水线
静态流水线
最常规的指令执行可以视为三个操作:计算pc、取指、执行。如果我们有 n 条指令,不考虑任何的流水线操作,那就需要 3n 个时钟周期 cpu 才能完成 n 条指令的运算。
第一个时钟:把 npc 的值送入 pc 中。
第二个时钟:把取出的指令送到 IR 中,并将相关的数据读取至寄存器中。
第三个时钟:把指令的运算结果送入寄存器或者内存中。
改进1: 我们把第 n+1 条指令的计算 pc 与第 n 条指令的执行并行。
如此说来,我们把原来的 3 个时钟改进为 2 个时钟就可以了。
改进2: 我们在改进1的基础上,能否把第 n+1 条指令的取指与第 n 条指令的执行并行?
在“取指”的过程中,我们还需要获取运算所需的寄存器的值。本条指令的取指过程进行时,上一条指令可能已经完成了写回的过程,所以理论上改进2是可以进行的。不过,如果上一条指令是转移指令,下一条指令的取指取决于转移指令的成功与否,往哪里跳转?所以这两条指令并不能重叠,需要在两者之间插入一条延迟槽指令。经过上述两种改进,整个CPU的所有指令流水线只需要一个时钟周期就可以了。
改进3: 划分指令的执行阶段
...
循环神经网络
雪中高尔夫球场 背景主题图源自德国巴伐利亚
循环神经网络
序列模型
实际中很多数据是有时序结构的。例如,电影的评价随时间变化而变化:拿奖后评分上升,直到奖项被忘记;看了很多好电影后,人们的期望变高;季节性:贺岁片、暑期档等等。其他的,音乐、语言、文本、和视频等等都是连续的。处理序列数据需要统计工具和新的深度神经网络架构。举例说明,我们预测 t 时刻的股价,需要 1 到 t-1 时间的股价数据,并且这个数据随着 t 的增加而不断增大,那我们该如何处理呢?
在时间 t 观察 x,那么得到 T 个不独立的随机变量:p(x)=p(x1)⋅p(x2∣x1)⋅p(x3∣x1,x2)⋅…p(xT∣x1,…xT−1)p(x) = p\left(x_{1}\right) \cdot p\left(x_{2} \mid x_{1}\right) \cdot p\left(x_{3} \mid x_{1}, x_{2}\right) \cdot \ldots p\left(x_{T} \mid x_{1}, \ldots x_{T-1}\right)p(x)=p(x1)⋅p(x2∣x1)⋅p(x3 ...
自然语言处理
雷尼尔山 背景主题图源自美国华盛顿·雷尼尔山国家公园
中文命名实体识别
基于字标注的中文分词
基于字标注的中文分词就是给每个字都进行一个标注 O,如果是一个词的话,则使用 B(begin) M(middle) E(end) 进行标注。举例如下,一句话是:
“我爱北京天安门”
分词之后的结果如下:
“我/O 爱/O 北/B 京/E 天/B 安/M 门/E”
“我”、“爱”都是一个字,使用 O 标记;“北京”是一个词,一个字是开头 B,一个字是结尾 E;“天安门”是一个词,“安”使用中间标记 M。
命名实体识别
命名实体识别就是把不属于实体的字用 O 标注,把实体用 BME 规则标注,最后按照 BME 规则把实体提取出来。例如某个数据集提供下列 6 个实体:
time: 时间
location: 地点
personname: 人名
orgname: 组织名
companyname: 公司名
productname: 产品名
在 NLP 课程中,我们会使用 CLUENER2020 公开的数据集,该 数据集 是中文细粒度命名实体识别的数据集,一共有 10 个类别:
地址(add ...
监督学习
冰川冰融化的瞬间 背景主题图源自阿根廷-莫雷诺冰川
由浅入深,循序渐进。从骨架到填肉。
监督学习
从数学的角度上,机器学习的目标是从原始数据中提取特征,学习到一个映射函数 f 将上述特征映射到语义空间,寻找数据和任务目标之间的关系。
我们在训练一个模型的过程常常会使用两种风险。第一种风险是在训练集上产生的损失,我们称之为经验风险。第二种是在测试集上产生的风险,我们称之为期望风险。经验风险越小,说明我们的模型对训练数据的拟合能力越强,但是可能会产生过拟合的风险,所以需要在训练集上训练的过程中给损失函数加入正则化项,使模型的参数变化幅度变小。模型期望风险越小,说明我们的模型泛化性表现的越好,模型比较具有鲁棒性。我们使用的优化算法,都是在追求经验风险的最小化,而机器学习的目标是追求期望风险的最小化。
主要的监督学习方法包括生成方法和判别方法,所学到的模型分别称为生成模型和判别模型。判别方法通过直接学习判别函数 f 或者条件概率分布 P(Y∣X)P(Y|X)P(Y∣X) 作为预测的模型,判别模型关心在给定输入数据下,预测数据的输出是什么,典型的判别模型包括回归模型、神经网络、支持向量机等 ...
图论
冬季蒸汽火车 背景主题图源自德国哈尔茨·布罗肯
图论
图论的主要内容
在图论部分,我们需要掌握对图这一非线性数据结构的存储和表示。图的表示需要以图的基本概念作为支撑,但是一些比较基本的概念,不想在这里做过多的解释和记录,只把最容易弄混淆的概念进行自我记录。
在图的部分,我将按照一定顺序介绍我们的图论。
图的基本概念
图的基本存储结构
邻接矩阵法
邻接表法
图的遍历
DFS
BFS
图的应用
最小生成树 Kruskal Prim
最短距离 Dijkstra Floyd
拓扑排序 AOV网
关键路径 AOE网
图的基本概念及存储结构
在图中比较重要的概念就是图的连通性等概念,详见之前考研时写的文章:连通性文章。
图的遍历
广度优先搜索的遍历 BFS
BFS 的概念在大二的时候就比较清楚了,这是一种类似树的层序遍历的过程,并且在遍历的过程中不需要节点回退,不是一个递归的算法。形象化记忆 BFS 的过程就像一滴水落在水面上,由中间及远的波纹就是 BFS 遍历的过程。
在 BFS 的实现,需要一个线性的数据结构——队列。队列用来存储与当前已遍历节点相邻的“后续& ...
九月中旬记录
背景主题图拍摄于 2022年8月28日 海南海口·万绿园
九月中旬投资记录恰逢金秋九月,居家办公上课,转眼九月已然过半,在此更新一些自己的想法,记录下自己心得和收获。本篇文章主要回顾一下自己的投资经历,接着介绍一下自己基金投资的业绩对标基金。
投资初体验——出道即巅峰要问什么巅峰?那必然是顶峰相见!(笑死好吧)
在本科大二的时候,我开始接触基金,一接触便特感兴趣,它是自己除日常工作学习外、我发现的最有趣的休闲方式之一!刷抖音、逛b站给自己带来不多的收获,还比较消磨人的意志和斗志。当然我身体锻炼也没有落下,我也经常和好朋友相约学校健身房。玩基金一天有赚有赔,不耽误自己的日常生活,挺有意思的,回顾我的投资经历,其实就是一个嫩韭菜到稍嫩韭菜的修炼之路。
秋风送飒爽,明月照华夏。在考研结束之后,自己可算腾出来了时间和精力便亲自操刀炒股、大干一场。怎奈确实经验不足,也赶上了 22 年从春节结束股市开始的那一轮市场大跌,交了不少的学费,但是经历过市场的摸爬滚,也打练就了自己的好心态。正好自己研究生开学了,以后没有太多的精力盯盘,专业的事情就交由专业人士来办,本人也会轻松不少,所以兜兜转转, ...
2022年8月中下旬记录
积成电子从日线上看,进攻趋势很强,股性较为活跃,同时叠加智能电网、虚拟电厂等近期较为活跃的概念,所以近期着重建仓了一部分的仓位,展望后市,有很大的概率会突破前期高点,至于什么时候突破,这就是时间上的问题了。