AI可见性仪表盘为何基本无效

背景

在AI搜索代理（如ChatGPT、Claude、Google AI）日益普及的今天，品牌营销人员面临一个全新的挑战：如何衡量和提升品牌在这些“无传统链接列表”的智能回答中的可见性？一种新兴的“GEO（生成引擎优化）仪表盘”市场应运而生，声称能追踪品牌在AI回答中的“排名”和“曝光率”。然而，这种跟踪工具的可靠性和有效性正受到越来越多技术专家的质疑。本文作者Iain在Hacker News上撰文指出，这些仪表盘本质上是在“称量烟雾”——尽管它们输出看似精确的数字，但测量对象本身具有根本的随机性和不可控性，导致结果大多毫无意义。

核心内容

1. GEO可见性追踪的虚假承诺

过去一年，针对AI回答的可见性追踪工具支出已超过1亿美元，数百个仪表盘声称能像当年Moz跟踪Google排名那样，展示品牌在ChatGPT等平台中的“出现率”。然而，作者认为这些工具卖的是“量尺”而非“杠杆”——它们测量一个根本不存在稳定性的指标。好莱坞编剧William Goldman的名言“没人知道任何事情”恰好描述了当前AI搜索可见性的状态：每次回答都是一次猜测，如果运气好，也许是有根据的猜测。

2. 随机性本质：温度的“掷骰子”

语言模型并非查表回答，而是逐token生成，每个词从一系列合理选项中随机选择（即“温度”参数）。这种随机性是确保输出流畅而非死板的关键。因此，即使对同一问题重复提问100次，得到完全相同的品牌列表的概率低于1%，列表顺序完全相同的概率更接近千分之一。品牌本身、排列顺序、甚至列表项数量都会变化。

3. Rand Fishkin的实证研究

2025年1月，Rand Fishkin与Gumshoe.ai的Patrick O'Donnell招募600名志愿者，针对12个品牌推荐提示词，在ChatGPT、Claude和Google AI上共运行2,961次查询。结果发现：重复运行同一提示词，得到相同品牌列表的概率低于1/100；相同顺序的概率约1/1000。Fishkin直言：“任何声称给出‘AI排名位置’的工具都是胡扯。”

4. 学术研究的佐证

• arXiv一篇论文显示，相同提示词返回的品牌集合在不同运行间重叠率仅45-59%，且方差很大。结论：单次观测具有误导性，可见性应被视为重复运行下的概率分布。
• 另一篇论文指出，生成引擎的引用指标是随机变量，而非固定值。
• Ahrefs发现，Google AI模式与AI概览对同一查询的引用来源有87%不相同。

5. 不可控的变异性来源

随机性不仅来自模型温度，还来自网络搜索的“扇出”（模型将用户问题拆解为自己的一组搜索查询）以及选择引用页面的过程。此外，系统运行中请求被批量处理、静默路由到不同模型副本、模型版本中途更新等因素，都会导致测量对象持续变化。作者强调，这种变异性并非“行业不成熟”会随着时间消失，而是产品设计的内在特征。如果移除随机性，模型将输出千篇一律的固定回答，反而成为更差的产品。

6. 唯一稳定的信号：考虑集（Consideration Set）

尽管排序混乱，Fishkin发现品牌“考虑集”（即模型从哪些品牌池中抽取）相对稳定。例如，索尼、Bose和苹果在几乎所有耳机查询中出现，顶级品牌在紧密类别中的出现率达90-100%；而品牌设计机构等宽泛类别的出现率则分散在30-40%之间。阿曼达·纳蒂维达德让142人针对同一意图自行编写提示词，语义相似度仅为0.081（近似俳句与购物清单的差异），但考虑集保持不变。因此，真正有意义的指标是“是否在品牌池中”，而这一会员身份需要60-100次运行才能缓慢估算。这是唯一有效但有限的信号。

7. “错误的窗口”问题：API vs 真实用户

大多数追踪工具使用供应商API（因为廉价且可脚本化），但API端点上的GPT-4.5并非用户使用的ChatGPT。消费级产品具有记忆、自定义指令、对话历史、账户上下文、位置推断以及API调用者看不到的系统提示词。不同模型变体（如GPT 5.2/5.3/5.4）使用相同的知识截止日期和家族名，却产生不同的扇出查询和引用来源。更讽刺的是，ChatGPT每周用户中90%以上是免费层，其默认体验比付费层运行更少的搜索、产生更少的引用，而追踪工具通常采样的是付费层体验。因此，追踪器就像是在一个“没有顾客光顾的展厅”中进行神秘购物调查，结果指向一个几乎不包含真实用户的群体。此外，展厅几乎每晚都会在无人通知的情况下彻底改装（如2025年5月7日OpenAI在回答中嵌入可点击品牌链接，推荐流量周环比暴增157.7%，首页着陆比例从30%升至60%；3月4日默认模型切换为GPT 5.3，每回答引用域数从19降至15）。

8. “分母捏造”与精准洗白

作者指出，许多工具通过重复运行空心测量，让噪声相互抵消，输出看似稳定的带小数点的数字，这被称为“精准洗白”。但平均化操作虽然能产生数字，却无法赋予其有效性。因为测量篮子中的提示词由供应商主导，查询量权重是虚构建模，采样查询表面非人类所用，且无人证明得出的分数能预测任何商业结果。

9. 与Google算法更新的类比

作者提醒：经历过Google Florida、Panda、Penguin更新的人明白脚下的土地会移动，但AI搜索的变化是持续且根本性的，很快变得不可管理。优化和测量这种不断变化的景观如同愚人之差。

关键要点

• 可见性追踪是“称量烟雾”：AI搜索代理的回答具有内在随机性（温度参数），同一提示词重复运行结果高度不稳定，品牌列表及排序的重复率极低。
• 实证否定“排名”概念：Rand Fishkin等研究证实，任何声称提供“AI排名位置”的工具都是虚假的，因为每次运行相当于重新掷骰。
• 唯一稳定信号是“考虑集”：品牌是否出现在模型可抽取的候选池中是相对固定的，但需要60-100次运行才能估算，且无法反映具体排序或出现次数。
• API与消费端产品严重不匹配：大多数追踪工具基于API采样，但API对应的是付费层模型，与实际ChatGPT免费用户的体验（记忆、历史、位置、模型变体）完全不同，导致测量结果脱离真实客户群体。
• 供应商持续更改系统：模型版本切换、功能更新（如嵌入链接）等会使测量基准频繁变动，优化和追踪成为不断追逐移动靶的任务。
• “平均化”无法赋予有效性：通过大量运行消除噪声得到精确数字，但该数字（如百分比）缺乏预测业务成果的效度，属于“精准洗白”。
• 行业现状如同后千禧年泡沫：GEO仪表盘市场快速增长（年支出超1亿美元），但缺乏科学基础，营销人员面临恐慌性购买。

意义与影响

• 对品牌营销者的警示：切勿盲目相信AI可见性仪表盘。与其投入资金购买可能误导的追踪数据，不如关注更基础的品牌建设——确保品牌本身被纳入模型的预训练知识或广泛认知中。一个下午的自我审计可能比订阅昂贵平台更划算。
• 行业发展方向：当前GEO优化和测量工具存在根本性缺陷，可能催生更严谨的方法论。未来，真正的测量应该基于大规模、随机化的人类行为模拟，而非机械的API查询。同时，品牌应接受AI可见性的概率性质，而非追求固定排名。
• 对搜索引擎优化（SEO）行业的影响：经历25年SEO实践后，AI搜索的随机性打破了可量化排名的幻想。行业需要从“精确排名追踪”转向“概率性品牌池监测”，并重视模型对品牌的实际认知而非表面上的一次性提及。
• 技术透明度需求：OpenAI等公司若希望品牌方合理投资，可能需要提供更稳定的引用统计或让品牌知晓自身在模型训练数据中的呈现。但目前，模型内部运作