博客列表

【Silicon Decoder Weekly】003期：从零构建GPT、特斯拉股东大会、WebGPU

年年岁岁

历史上的今天：
2013年5月21日，微软推出新一代Xbox One。研发耗时四年，斯皮尔伯格根据《Halo》改编的电视剧，将在Xbox平台率先播出。Xbox One也称为第一个发布暴雪新版本《Call of Duty》的平台。

一周动态

2023年5月21日

从零构建GPT

  • layernorm与batchnorm；
  • 转换器的前反馈层、剩余连接；
  • 定义转换器，将训练集分词，数据加载；
  • 训练二元模型，建立自关注，技巧：矩阵乘法加权聚合；
  • 注意力交流、注意力没有空间概念操作集合、批量维度无交流、注意力vs自注意力vs交叉注意力、规模化自注意力机制；
  • 回到ChatGPT、GPT-3、预训练与微调、RLHF；

WebGPU：解锁JS的现代GPU技能

  • Chrome 113以上可以使用；
  • 机器学习工作平均1.89倍性能提升；
  • 由于OpenGL的状态机制，WebGL存在CPU负载隐患；
  • WebGPU封装了现代图形的浏览器API（Dx12、Vulkan、Metal)；
  • 在GPU上模拟海洋表面效果：每一帧用傅立叶变换将光谱转换为海浪高度数据；
  • 计划在着色器和DP4类指令中，启用对16位浮点数的支持，以进一步提高机器学习性能；

特斯拉2023年度股东大会

  • 明年开始量产Cybertruck电动皮卡；
  • 长期价值可能来自人形机器人Optimus；
  • 特斯拉正在自研精炼锂，提升电池寿命；
  • Model S和X车载娱乐系统已支持Steam和YouTube；

李飞飞与吴恩达有关人工智能的探讨

  • STEM：Science、Technology、Engineering、Mathematics；
  • 李飞飞边在普林斯顿学物理，边经营新泽西干洗店；
  • Parsippany离贝尔实验室不远，那里进行了早期的卷积神经网络研究；
  • 从计算机视觉的早期基准ImageNet，到加州理工图像101类数据集；
  • 自阿兰图灵以来，人类还没有完全了解智能背后的基本计算原理；
  • 使用不捕获RGB信息的相机保护隐私，比如自动驾驶用到的深度相机；
  • 技术的演进也使得芯片推理计算成为可能，不再需要通过网络传输信息到中央服务器；

往期推荐

  1. 【Black Tech Weekly】002期：谷歌CEO访谈、Google I/O、王国之泪
  2. 【Black Tech Weekly】001期：财报季、AI学习笔记、巴菲特股东大会
  3. 【哈佛大学CS50课程】GPT4工作原理及应用开发
  4. 【张亚勤对话朱民】颠覆认知的AI时代与产业机遇

Silicon Decoder Weekly，分享科技、财经深度信息。让您的时间更宝贵，快快前往公众号订阅吧！​​​​