NotionNext BLOG https://hemonn.com/ 这是一个由NotionNext生成的站点 Thu, 21 Mar 2024 11:00:21 GMT https://validator.w3.org/feed/docs/rss2.html https://github.com/jpmonette/feed zh-CN All rights reserved 2024, hemon <![CDATA[注意力机制]]> https://hemonn.com/article/fbfcda56-3077-437c-8b02-dffed9820b3f https://hemonn.com/article/fbfcda56-3077-437c-8b02-dffed9820b3f Thu, 21 Mar 2024 00:00:00 GMT
智慧的艺术是知道该忽视什么。

📝 注意力基本理念

注意力分为两种：
1、自上而下的有意识的注意力，称为聚焦式注意力，包含自主性提示。
2、自下而上的无意识的注意力，称为显著性注意力，包含非自主性提示。
一个和注意力有关的例子是鸡尾酒会效应，当一个人在吵闹的鸡尾酒会上和朋友聊天时，尽管周围噪音干扰很多，他还是可以听到朋友的谈话内容，而忽略其他人的声音（聚焦式注意力）．同时，如果背景声中有重要的词（比如他的名字），他会马上注意到（显著性注意力）。
显著性注意力偏向于感官输入，可以用简单的全连接层，或者是最大汇聚、门控机制进行模拟和实现。
注意力机制，通常指的是聚焦式注意力。自主性提示被称为查询Q（query），通过注意力汇集将选择引导至感官输入，感官输入被称为值V（value）。其中，每一个值V都和一个键K（key）配对，作为非自主提示，或是环境中的非意志信息。
notion image
 

😀 注意力评分函数

查询（自主提示）和键（非自主提示）之间的交互形成了注意力汇聚。
注意力汇聚有选择地聚合了值（感官输入）以生成最终的输出。
那么注意力评分函数就是用来计算查询向量Q和键向量K之间的相关性。

加性模型

❗
当查询Q和键K的长度不同时，可以使用加性模型。

点积模型

加性模型和点积模型的复杂度差不多，但是点积模型在实现上可以更好地利用矩阵乘积，从而计算效率更高。使用点积模型的前提是qk具有相同的长度d。
假设查询和键的所有元素都是独立的随机变量，并且都满足零均值和单位方差，那么两个向量的点积的均值为0，方差为1。为确保无论向量长度d如何，点积的方差在不考虑向量长度的情况下仍然是1，那么对点积除以，得到缩放点积评分函数：

小节

缩放点积直接通过点积得到注意力分数，没有任何的学习参数。而加性注意力是通过可学习参数先进行放缩，然后进行q与k的特征相加。
区别在于：
  1. 是否可学习。
  1. 特征进行点积还是特征进行相加。

😁 自注意力机制

自注意力

查询、键和值来自同一组输入，因此被称为自注意力（self-attention）。
在序列信息中，能够捕捉序列内部相关性的信息。顺序信息可通过位置编码加入。
基本结构如下：
notion image
自注意力模型可以作为神经网络中的一层来使用，既可以用来替换卷积层和循环层，也可以和它们一起交替使用（比如𝑿可以是卷积层或循环层的输出）。自注意力模型计算的权重只依赖于和 的相关性，而忽略了输入信息的位置信息。因此在单独使用时，自注意力模型一般需要加入位置编码信息来进行修正。

编码

编码分为绝对位置编码和相对位置编码两种。

绝对位置编码

后续补充

相对位置编码

后续补充

自注意力机制使用场景

非序列数据：特征信息提取
序列数据：序列内部相关信息捕捉

🤗 条件注意力机制

🤗 多头注意力机制

🤗 通道注意力机制

🤗 空间注意力机制

🤗 CBAM

📎 参考文章

  • 一些引用
  • 引用文章
 
💡
有关Notion安装或者使用上的问题，欢迎您在底部评论区留言，一起交流~
]]> <![CDATA[编码器和解码器]]> https://hemonn.com/article/7391b105-2b8a-425e-8665-85f55e91a703 https://hemonn.com/article/7391b105-2b8a-425e-8665-85f55e91a703 Thu, 21 Mar 2024 00:00:00 GMT
😀
这里写文章的前言： 一个简单的开头,简述这篇文章讨论的问题、目标、人物、背景是什么？并简述你给出的答案。
可以说说你的故事：阻碍、努力、结果成果，意外与转折。
 

📝 主旨内容

观点1

引用的话语

观点2

引用的话语

🤗 总结归纳

总结文章的内容

📎 参考文章

  • 一些引用
  • 引用文章
 
💡
有关Notion安装或者使用上的问题，欢迎您在底部评论区留言，一起交流~
]]> <![CDATA[不同层级特征的组合形式及其网络结构实现]]> https://hemonn.com/article/e43aa60b-705c-4039-a5fa-cb7d325a9dbe https://hemonn.com/article/e43aa60b-705c-4039-a5fa-cb7d325a9dbe Thu, 21 Mar 2024 00:00:00 GMT
😀
这里写文章的前言： 一个简单的开头,简述这篇文章讨论的问题、目标、人物、背景是什么？并简述你给出的答案。
可以说说你的故事：阻碍、努力、结果成果，意外与转折。
 

📝 主旨内容

观点1

引用的话语

观点2

引用的话语

🤗 总结归纳

总结文章的内容

📎 参考文章

  • 一些引用
  • 引用文章
 
💡
有关Notion安装或者使用上的问题，欢迎您在底部评论区留言，一起交流~
]]> <![CDATA[TODOLIST]]> https://hemonn.com/article/0cd9ad8d-a261-4fe5-a41f-99cd2bfce684 https://hemonn.com/article/0cd9ad8d-a261-4fe5-a41f-99cd2bfce684 Sat, 02 Mar 2024 00:00:00 GMT <![CDATA[gradio部署无法从服务器端口访问]]> https://hemonn.com/article/dae3d5fc-6046-4db8-99c8-0055c00fcc28 https://hemonn.com/article/dae3d5fc-6046-4db8-99c8-0055c00fcc28 Wed, 20 Mar 2024 00:00:00 GMT

现象

在服务器通过gradio的launch方法
无法从浏览器直接通过服务器地址:8083访问。
设置server_port=8082，可以正常访问。

解决步骤

  1. 检查launch启动后，进程和端口是否启动
      2. 若未启动，检查启动代码、检查端口是否被其他进程占用
      若显示启动，且状态8083正在被监听，表示进程启动正常
  1. 进程启动正常，但无法从本地访问。存在几种情况：
    1. 防火墙或网络规则：确保防火墙或网络设备没有针对8083端口设置了特殊规则，阻止外部访问该端口。有时网络设备或防火墙可能会对特定端口进行限制，从而导致无法从外部访问该端口。
    2. 应用程序设置：有些应用程序可能有内置的设置或配置，只允许从特定的IP地址或者主机名访问。确保应用程序没有设置这样的限制，或者按照需要进行调整。
  1. 防火墙检查
    1. 如果防火墙软件是iptables
      1. 如果防火墙软件是firewalld
      1. 网络规则检查
          2. 使用网络工具（如nmap）来扫描服务器上的端口，并查看哪些端口是开放的，确保8083端口被标记为“开放”
      1. 在防火墙检查中，发现
          2. 8083端口并未被开放，外部无法访问该端口
      1. 打开该端口
          2. 这个命令将在public区域中添加8083端口的TCP规则，并将规则永久性地应用到防火墙配置中。如果希望临时性地添加规则而不是永久性地添加，可以去掉--permanent选项
          完成后重新加载防火墙配置，使其生效。
           
          重新启动gradio文件，8083端口成功正常访问。
      ]]>             <![CDATA[vscode终端激活conda编码报错]]> https://hemonn.com/article/1b1ff049-91f5-4fba-9a78-f8aaf308295a https://hemonn.com/article/1b1ff049-91f5-4fba-9a78-f8aaf308295a Tue, 19 Mar 2024 00:00:00 GMT
      主要问题是'gbk' codec can't encode character '\ue219'编码错误
      解决方法：
      在系统环境变量中添加
      notion image
       
      ]]>