YouyaWuya

有涯 • 无涯

生而有涯,而知无涯
关注 AI、技术、金钱、哲学和其他让我思考的东西

探索大语言模型的偏见

当我前几年还在和广东厂家老板谈进货价格的时候,我绝没有想到,到了我五十多岁的年纪, 我会下定决心从零开始啃大语言模型的底层代码和数学推导。 大语言模型本质上是人类语言的统计学镜像;而所谓的偏见,我们可以理解为训练数据的 分布不均衡导致损失函数曲面陷入特定局部最优解,进而使某些注意力权重被过度放大。 确实,这个对偏见的定义过于数学术语化了,能力所限,我实在找不到其他的方式来尽量准 确地表达它。 缘起 最近几年来,人工智能成了全球最热门话题。我八十多岁的老母亲也知道遇事不决问 AI 。 我的贸易公司在3年前关门歇菜了。于是,我开始热衷于在人工智能(AI)的帮助下开发各 种全栈应用。主要动力是我发现以前个人开发者很难实现的全栈应用,有了 AI 加持,竟然 都可以比较轻松地独立完成了!我前后开发了大大小小七八个应用。不出意外地,我发现这 些点子,其实别人早都已实现了。同时,我也从手工写代码,慢慢进化到了自己做架构和计 划,基本由 AI 完成代码。(我的全栈工具是 .NET + Vue ) 在被现实的铁拳不断捶打中, 我猛然想到:在AI 可以把标准架构和代码实现的时代,去探究 AI 到底是如何“思考”的, 也许更有意义。 事实上,我不仅想学会如何从零开始构建一个大语言模型(LLM),更想理解模型的底层数学 原理和逻辑。 顿悟 在构建我的大语言模型过程中,由于自己的大学数学知识基本只剩下课程名字,我不得不问 ChatGPT 一个问题:“Attention 权重是 Query 向量与所有的 Key 向量做点积,计算权重, 最后加权 Value 得到上下文向量。那么,这个过程是一个线性变换吗?”我才得到了完整的 画面:如果注意力权重是常数,那么会是一个线性变换。但是,大模型要模拟现实复杂多变 的世界,必然要在逻辑上实现动态变化。因为 query 和 key 都来自同一输入,点积本质上 是输入 x 的二次函数 (x·x), 是非线性的;而Softmax 函数包含指数运算 (eˣ), 是 典型的非线性函数。 相信看到回答,我们大多数人都已经理解了这个注意力机制过程是非线性的。接着,ChatGPT 再强调:从数学和信息论的角度来说,这个前向计算过程(从输入向量到上下文向量)通常 是不可逆的,或者更准确地说,是“多对一”(Many-to-One)的映射,会导致信息丢失。最后 它再来一句,这种不可逆性的特性 (Feature) 体现了注意力机制作为“信息过滤器”和“特征 压缩器”的本质。而正是这些附加的回答内容,让我顿时领悟到AI为什么有幻觉和偏见的原因。 而工程师不得不要用大量和多样化的数据来训练一个大语言模型,除了让 AI 知道得更多, 还可以去“稀释”和“纠正”这些偏见。 作为一个50多岁从零开始学大模型的人,面对复杂的数学公式,我常常先用一些‘含糊’的生 活词汇去理解它。比如,当我看到注意力机制时,我脑子里冒出的词是‘偏见’。起初我觉得 这很不严谨,但随着深入了解,我发现这个‘含糊’的词,竟然能比较精准地戳中现代 AI 的 核心困境…… ...

October 16, 2026

三部史诗,三种绝境:人类灵魂的终极抉择坐标系

亚当与夏娃被逐出伊甸园后生下了兄弟俩。老大该隐是个农夫,老二亚伯则是牧羊人。 有一天天降供物: 该隐拿了地里产出的庄稼献给上帝耶和华。 亚伯则把羊群中头生的和羊脂献给上帝。 上帝看中了亚伯和他的供物,却没有看中该隐和他的供物。该隐无视上帝的劝诫,谋杀了弟 弟。上帝在该隐身上做了记号,并把他流放到了伊甸园东边。“伊甸之东”象征着人类堕落之 后的世界——充满劳苦、嫉妒、冲突和死亡。但即使身处失落的世界,人依然要在善与恶之间 做出选择。 Timshel —— 希伯来语,表示你能够选择。人类无论背负何种困苦,最终的拯救取决于个体 自由意志的选择。 美国作家约翰·斯坦贝克(John Steinbeck)以此故事为蓝本创作了巨著《伊甸之东》,聚焦 微观的人性与道德,探讨了恶的遗传、嫉妒的本质,以及人类必须做出 Timshel ,用个体的 自由意志来拯救自己。这部作品是跨越数代人的家族史诗。在相同的时代,在苏联出现了一 本书,就是肖洛霍夫的《静静的顿河》,也是类似的史诗格局,人性的困境。两者的截然不 同的意识形态和社会结构背景,在探讨人性的终极困境时,展现出了惊人的互补性。 当人面对自己的命运时,《伊甸之东》在灵魂深处叩问“你是否愿意选择善”,而《静静的顿 河》则在现实的血雨腥风中质问“当时代撕裂你时,你又能选择什么”。前者是强调个人的自 由意志,主要人物在竭力寻求神学和伦理上的自我和解与原谅;而后者则是历史的宿命论, 主角失去了妻子、情人、战友等所有的一切,最终只剩下紧抱幼子,踏上荒凉的大地。如果 将两部巨著并置阅读,我们会获得一种全景式的人类精神图谱:它让你既能看到灵魂微观层 面的挣扎(人如何面对内心的嫉妒、恶念与爱),又能看到生命宏观层面的无奈(人在历史 剧变与战争中的漂泊与悲惨)。前者给出了自由意志的尊严,后者给出了面对现实悲剧的厚 重与沉痛。 在人类能够选择和不能选择的思想平面里,我们究竟应该如何自处?《卡拉马佐夫兄弟》将 会为我们再引入一个更关键的神圣伦理维度。它带来一种“终极形而上学意义上的存在主义” ——如果上帝死了,选择还有意义吗?如果上帝存在,痛苦与罪恶又该如何解释? 斯坦贝克(《伊甸之东》)给你一个人文主义的确定性——不管环境多糟、遗传多黑,你有选 择做善人的尊严(Timshel)。 肖洛霍夫(《静静的顿河》)给这种人文主义浇上一盆冷水——在红与白的战场上,在社会的 巨大碾压下,你的个体尊严和选择权会被历史轻易粉碎。 陀思妥耶夫斯基(《卡拉马佐夫兄弟》)直击最深处的存在的底座——如果连存在本身都是虚 无的,或者如果连神都允许无辜的孩子受苦,那么“选善还是选恶”、“顺应时代还是反抗时代 ”又有什么本质区别? 伊万的“宗教裁判所”寓言将《伊甸之东》中关于自由意志的讨论提升到了恐怖的深度:自由 意志不仅是一种尊严,更是一种沉重的负累——大多数人类根本承受不起自由选择的痛苦,他 们宁愿要面包和权威。 德米特里是肉欲、激情与高尚灵魂的混合体,与《静静的顿河》里的葛利高里如出一辙。他 们都饱受原始本能与道德良知的撕扯。葛利高里的悲剧来自于外部世界的撕裂(红军 vs 白军);而德米特里的悲剧来自于内部血脉与灵魂的撕裂(卡拉马佐夫式的狂暴本能 vs 对崇高的渴望)。两者放在一起,展现了人类被“内忧外患”双重夹击的终极状态。 在肖洛霍夫的冷酷历史和斯坦贝克的原罪挣扎之后,阿廖沙(以及佐西马长老)提供了一种 大爱与接纳。阿廖沙并没有否认人世间的苦难和不可选择(他目睹了父亲被杀、哥哥获罪、 伊万发疯),但他选择了“即使知道了世间的一切黑暗,依然选择去爱”。这为《静静的顿河》 那种彻底的绝望与荒凉,注入了一缕神圣的光芒。 如果只看《伊甸之东》和《静静的顿河》,我们可能会陷入一种逻辑困境:要么盲目乐观( 以为靠个人意志就能战胜一切),要么彻底虚无(认为在历史面前人只是尘埃)。而《卡拉马 佐夫兄弟》彻底打开了第三条路:它不仅揭示了“自由”的真实重量——自由不是轻飘飘的口号, 自由伴随着罪恶的可能、痛苦的承担以及责任的负荷。并且,它也回答了“当不能选择时该怎 么办”:即使在最绝望、最不可选择的境地(比如德米特里被冤枉流放西伯利亚),人依然可 以在内心完成一场“为所有人的罪负责”的灵魂救赎。我们会看到人类灵魂所能抵达的最深暗 处、最痛的挣扎,和最高尚的救赎。 人可以自由选择,然而却不得不接受上帝,阶级,他人目光与历史法则的审判。Timshel 赋予了人选择的尊严,却从未承诺我们选择的“结果”。斯坦贝克让我们在命运的框架里选择做 人;肖洛霍夫让我们体验在绝对的毁灭中保留生命的温度;而陀思妥耶夫斯基的终极解法是通 过承受苦难来超越命运。萨特说, “人被判定为自由。”:自由意志不是一种特权或奖赏,而 是一种无法逃避的审判。你是自己生命的绝对主宰,因此,你也必须为这片由你亲手塑造的 废墟或旷野,承担百分之百的责任。

October 12, 2026

《给阿嬷的情书》是一部用温情包装的封建礼教电影

《给阿嬷的情书》是一部表面充满浪漫,温情和所谓奉献的电影,而它煽情的情节里包装的却是维护封建旧秩序的意识,它不是“善意的谎言”这么简单。 这部《给阿嬷的情书》被誉为是今年最感人的电影,豆瓣电影上更是好评如潮。2026年的中国社会,几乎所有的事都显得没有生气,而它竟然给我们带来一种奇特的感动:据说,有些天生敏感的人特意去了好几次,就是想被狠狠地感动,一次又一次地泪如雨下,陌生的潮汕方言听起来也是特别的亲切。 我不否认这部电影在选择演员,构建环境上有过人之处。导演和编剧的情节设计也没有流俗,显得平常又令人感动。其中最重要的大情节:1960年,木生目睹邻近河船上遭遇抢劫,挺身而出,在搏斗中堕河身亡。木生去世后,南枝决定隐瞒木生死讯,并继续以其名义寄送侨批。此后,南枝此后独自承担起延续木生承诺的责任,也因为收留养子扛下为母的责任。1978年,淑柔表示欲赴泰探望木生,南枝多次尝试向郑家说明真相,但始终未能如愿。 这段大情节既是最煽情的,但是,我认为,也是最值得我们思考的。 异国他乡的相识相知,发展到后期,女主角 —— 南枝为了不让淑柔和郑家伤心,更是为了完成木生生前的承诺,多年以来,硬是用自己的巨大的牺牲守护了一个家庭的希望。这是导演希望我们看到的,希望观众被感动的,但如果我们仔细推敲,就会发现一层又一层的问题。 第一层问题:她是在帮助他人,但也是独断地剥夺了他人了解真相的权利。 木生已经去世,那么郑家最需要的是知道真相,郑家才能逐渐对死者完成心理上的告别并重新规划人生,这也是现代的价值观的意义所在;而南枝隐瞒了十八年,实际上,也是用她自己的意志强制他人生活在一个虚构的现实中十八年。 南枝让淑柔没有了选择权,丧失了个体自主和人格独立。 毫无疑问,她自认为是绝对的善意,但善意并不等于有权利替别人决定真相,替别人做选择,这是完全的两回事。 第二层问题:谎言的成本也同时被转移给了他人。 世上所有的谎言都会有成本,会带来连锁反应。对淑柔来说是最明显的:她不得不长期地维持感情上对木生回来的期待,把自己的人生规划建立在此前提上。我们的生活常识告诉我们,在她的精神世界里,必定需要忍受非常人的孤独,而面对外部世界,又要求她独自承受生活的艰辛和苦难。当把这两方面效果叠加起来,对于正常的个体的人来说,就是一个巨大的人生成本。善意的谎言却要他人来承担难以预料的身体和精神的损失,它还会是善意吗? 第三层问题:作为普通人,南枝有用高尚的借口满足自己的情感需求的嫌疑。 木生死后,南枝是知情者,她主动选择了隐瞒死讯,继续代写侨批,仿佛木生并未离开。电影到此,也用镜头语言在向观众强调她对木生的爱意。在某种意识层面,她的这样的行为,不仅是安慰郑家,其实也是在安慰自己:她通过扮演木生,延长了自己对木生的思念,抚平内心的伤痛。利他动机和自我补偿动机可能同时存在。 木生已经死了。但木生代表的责任、伦理、家族等却没有死,南枝变成了它的继承者,她一生都在确保这个体系继续运转。男人的伟大使命下,身边的女人都成了他和他的使命的附庸。南枝的主体性被压缩了,成了一个代理人,她存在的意义来自于延续一个男人未完成的事业。而这恰恰是很多传统叙事最喜欢歌颂的女性形象:忠贞、受诺、奉献、牺牲。同时,整个故事中最明显被剥夺尊严的不是南枝是郑家。因为郑家和淑柔都成了需要被安排的被动的客体,是被善意管理的对象,他们被默认没有能力承受真相。他们的主体性被爱的名义取消了! 让我们回到现实。众所周知,在那个社会环境复杂的年代,对许多侨眷而言,“人还活着”与“人已死了”会有巨大的差别,但这个差别在特定的年代里很难说是福是祸。因此,我们也不能认为南枝的做法就是理性的选择:有没有海外联系,在那个时代,是一把锋利的双刃剑。谁也说不清,这种海外联系是保护还是更大的伤害?经历过那些时代的人都会推想出大概率的结果。即使我们撇开这些不谈,我们也看到,南枝的行动除了情感驱动外,确实有悲剧英雄的意味,但也有强烈的封建父权色彩,“我这么做是为了你好,所以我替你决定。” 南枝的悲剧不在于她不够善良,而在于她被一种贯穿历史的‘奉献神话’彻底挟持,把对他人人权的剥夺,误认作了道德上的圣洁。她是封建旧伦理受害者?抑或是某种程度上的共谋者?她的这种类型的悲剧并不是个例,想到这一点,禁不住让人怜悯和同情。但无论如何,我认为,如果她第一时间告诉郑家真相,又能继续寄侨批,才是对真正的人性的尊重,是光明磊落的伟大。而这部感动无数人的电影情节的设定,让我们不禁要再一次地产生疑问:为何我们当代的艺术还是在生产“苦难美学”而非“觉醒叙事”? 诚然,我们这样要求一个乱世中的弱女子过于苛刻,甚至如前所述地评判也过于严厉。但,我还是不得不指出这个电影叙事本身就是在预设一些经常被我们中国人歌颂的价值观,而事实上,在这些价值观自带的”光环“下是旧时代伦理的巨大的阴影一直在蔓延,不停地吞噬着从外面照来的光明。 整部电影的叙事隐隐发出的陈腐气息,令人有点不寒而栗。比如:女性守节被暗中塑造成道德高度,让两个女人的十八年的青春韶华在宏大叙事中悄悄逝去;男人的伟大事业高于人性,并且让牺牲者甘之如饴,目标神圣化了一切手段;当然电影也没有忘了用“爱情”来增加奉献的砝码,穿一件纯爱的马甲,可以为任何行为找到借口;即使男人的肉身已经不存在了,而那套陈腐的镣铐还在控制着女人也包括男人的思想,把剥夺他人选择权和知情权的行为进行改装和美化。 今天已经是2026年,物质的迭代日新月异,算法和人工智能在重塑我们的日常。然而,当面对银幕上的亦真亦假的旧时光时,许多现代人依然能热泪盈眶,却浑然不知为何而流,反而心甘情愿地被旧时代的伦理观念再洗一次脑。这或许才是最让人警惕的现代荒诞:把个体主体性的消失塑造成一种值得赞美的道德崇高;它用温情叙事消解了权利、自由与人格尊严的问题,使观众不自觉地吞下“为秩序牺牲个人”的传统伦理。我们的身体早已置身未来,而我们的情感与集体潜意识,依然在父权与牺牲的旧戏码里轮回。

September 23, 2026

谁会留下来

这两年来,我已经几乎把所有的写代码任务都交给了 AI。 起初,在觉得效率飞升的同时有一种曾经的努力越来越是徒劳的感觉。IDE 里飞快的输出一整片整齐的代码,并行带来的爽感和恐惧:这些活一下子就完成了,但我们还剩下什么? 直到最近,我慢慢地意识到,被取代的并不是“程序员”,而是在一种过时的工作方式。 程序员的工作方式有清晰的特征:明确的流程,清晰的逻辑,可验证的结果。而 AI 最擅长这类工作,它们做得又快又好。 程序语言是 1 和 0 的组合的数字序列的自然语言表达,人类怎么可能会胜过机器呢? 想明白这件事之后,我也能更坦然地面对被拿走的这部分工作,况且,我也认识到这个工作的真正重心已经悄悄地改变了。 我认为,未来的机会会出现在系统与现实发生摩擦的地方。 比如,在普通的 .NET 后端应用里,用户、订单、支付、权限,这些模型本身不复杂,复杂的是它们如何和真实的世界发生碰撞的那一个层级里:误操作,重复支付,客服介入,回退,真实的世界里责任必须能被追溯。而这些东西的细节不会被写进需求里,但会一次又一次的出现在事故报告里。 AI 能够给出符合逻辑的架构,干净、清晰、逻辑自洽。模块都在它应该在的位置,数据流都有明确的走向。但它的强逻辑难以契合现实世界的锯齿边缘。现实世界经常是没有规则的,而 AI 给出的结果是最高符合的概率的结果。 人类就只能要求 AI 在系统里添加不合规则的处理:幂等、日志、补偿路径、人工入口。软件的用户是人,而“人不是机器”,导致系统一定要有足够的能力处理现实的锯齿。 架构不是纯粹的技术选择,而是基于现实的判断。AI 负责实现,人类负责承担后果。现实的业务越精通,越有能力预防和处理坏的后果;而写代码工作,一定要学会交给 AI 做。不想被淘汰,就要多阅历,并擅于把社会经验压缩进系统结构里。

September 11, 2026

美国国债市场承压机制、财政政策边界与美联储资产负债表重构分析

一、 宏观背景与核心矛盾:美债供需失衡与边际定价权转移 当前美国国债市场面临的核心结构性矛盾,本质上是财政扩张周期与全球基础货币/无风险资产供需格局的深刻错配。 财政纪律松弛与常态化赤字扩张 联邦财政赤字规模居高不下,引发国债供给总量呈指数级膨胀。在财政部持续且密集的国债拍卖潮下,一级市场供给显著超出了现有边际买方的自然消化能力,导致市场出现“消化不良”的结构性瓶颈。 传统官方买方退潮与边际承接主体变迁 过去作为美债主要支撑力量的海外官方部门(如各国央行、主权财富基金)由于外汇储备管理战略调整及去美元化考量,增持意愿趋于消退。边际定价权逐步向私营部门金融机构(如养老金、资产管理公司、对冲基金及一级交易商)转移。私营资本对风险溢价的要求更为敏锐,其大规模配置必须建立在更高收益率补偿的基础之上。 二、 期限溢价(Term Premium)的结构性复苏 市场对“期限溢价”定价逻辑的重估,反映了投资者对长期持有无风险债券所面临的潜在风险(通胀波动风险、利率路径不确定性、财政可持续性危机)的风险溢价补偿。 定义与功能:期限溢价并非纯粹的理论虚构,而是资金跨期锁定的风险溢价。在债务供给持续放量、宏观不确定性上升的环境中,投资者要求更高的“时间跨度补偿”。 传导机制:随着期限溢价中枢抬升,即使政策利率(Fed Funds Rate)保持不变或进入降息周期,由于长期国债收益率包含走高的期限溢价,实体经济的长期融资成本(如抵押贷款、企业中长期贷款利率)仍将长期维持在高位。 三、 财政部的政策工具边界:国债回购的局限性 面对长端收益率上行压力,美国财政部尝试通过公开市场回购(Buybacks)等流动性管理工具进行干预,其实际效用受到严格的宏观约束: 工具属性与政策信号 财政部开展回购操作(如发行短期国库券筹资回购流动性较差的旧券),名义上旨在平滑国债收益率曲线、修复市场流动性,并向市场释放遏制长端利率过快上行的政策意图。 总量约束与边际效应递减 在数十万亿美元的存量债务与万亿级别的年增量面前,财政部调动的回购资金规模相对有限,难以从根本上扭转供需失衡导致的利率上行趋势。 若过度依赖“短债置换长债”策略,虽能在短期内压降长期国债供给,但将加剧国库券(T-Bills)的发行密集度,放大财政筹资成本对短期利率波动的敏感性,甚至引发期限结构错配的新风险。 四、 美联储的宏观审慎困境:准备金粘性与资产负债表重组 美联储在应对美债收益率及自身财务状况时,面临“财政主导(Fiscal Dominance)”与货币政策独立性之间的艰难平衡。 1. 准备金的“刚性粘性”与缩表(QT)瓶颈 美联储试图通过量化紧缩(Quantitative Tightening)缩减资产负债表规模,但由于商业银行对无风险准备金(Reserves)存在结构性刚性需求,缩表进程遭遇阻力: 监管合规要求:历经多次金融风险事件后,宏观审慎监管对银行流动性覆盖率(LCR)和净稳定资金比率(NSFR)提出极高要求,准备金成为银行满足监管合规、应对极端挤兑和日常清算的不可或缺资产。 准备金付息(IORB)机制:美联储向银行准备金支付政策性利息。由于收益率风险调整后极具吸引力,商业银行缺乏主动压缩准备金规模的动力。 流动性突发风险底线:为避免重蹈2019年9月隔夜回购市场流动性枯竭的覆辙,美联储的准备金总额存在一个不可轻易跌破的“宏观底线”,制约了无限制缩表的空间。 2. 财务状况恶化与“卖长买短”的资产置换方案 付息倒挂与经营亏损:美联储资产端持有大量历史低息的长期国债,而负债端则需按当前高企的市场利率向银行支付准备金利息(IORB),导致其资产负债表出现显着的利差倒挂与财务亏损。 资产结构优化(卖长买短): 为缓解盈利危机并规避长期限资产的价格波动风险,市场探讨美联储通过公开市场操作调整资产结构——在资产端逐步减持长期国债,等额增持短期国库券(T-Bills)。 政策效应评估: 利差对齐:短期国库券收益率紧随市场利率浮动,可与负债端的准备金付息实现动态匹配,修复美联储账面损益。 系统平稳:该操作不直接收缩银行体系的准备金总额,避免引发信贷收缩;同时实现了美联储资产负债表的“去久期化”,降低了利率风险敞口。 五、 结论与系统性展望 当前美国国债收益率高企是财政赤字常态化、供给冲击、期限溢价重估以及货币政策执行受制于金融稳定约束共同作用的结果。 财政部的微型回购与美联储的“卖长买短”资产置换,均属于在既定宏观框架下的技术性修正与微调,无法从根本上解决由深层财政失衡引发的无风险利率中枢上移问题。在全球无风险资产定价锚重构的背景下,主权债务扩张的边界与金融体系流动性的承载力正面临长期压力测试。

September 1, 2026