YC最新孵化项目Context.dev上线，可从任意网站提取结构化数据

背景

随着AI Agent和自动化工具的爆发式增长，开发者面临一个共同的痛点：如何从互联网上高效获取结构化、实时、可用的数据。传统方法往往需要组合多个供应商（如爬虫服务、品牌数据API、图像CDN等），自行搭建和维护数据管道，且容易受限于模型训练时的数据截止时间。YC S26批次孵化的Context.dev正是为了解决这一系列问题而生——它提供一套统一的API，让团队能够从任意网站获取结构化数据，包括爬取、抓取、品牌信息、公司信息等，从而大幅降低数据基础设施的复杂度。

核心内容

Context.dev是一个面向软件构建者和AI Agent的“Web上下文API”，通过单一API即可获取Agent所需的所有网页上下文信息。其核心功能涵盖三大层面：

• 抓取与爬取（Scrape & Crawl）：支持将任意URL转为Markdown、HTML，可爬取整个站点、生成sitemap、进行搜索、抓取截图等。
• 结构化提取（Extract）：通过JSON Schema定义所需的数据结构，从页面中提取精确信息，例如定价层级、公司名称等。
• 品牌数据（Brand Data）：自动识别Logo、颜色、字体、风格指南、描述、社交媒体链接、地址等，并提供Logo CDN嵌入链接。
• 图像拉取（Pull Images）：从任意URL获取图片、Logo和截图。
• 分类（Classification）：支持NAICS、SIC行业分类以及交易识别。

产品提供三种主要使用场景：

1. Web Extraction：将任意URL转为干净的、LLM可直接使用的Markdown，支持爬取、sitemap、AI提取以及产品级管道。
2. Brand Intelligence：通过域名、邮箱、股票代码或混乱的商户描述符，解析出结构化的公司信息，包括Logo、颜色、字体、公司概览等。
3. Logo Link：只需一行HTML的<img>标签（无需API调用、SDK或后端），即可从全球CDN约20ms内获取任意公司的Logo。

集成方式极其简单：用户可通过Dashboard自助注册、复制API Key，然后安装SDK调用API；甚至可以直接让AI Agent自动完成注册、获取Key并集成到代码库中。官方文档提供Agent Quickstart指南，一条命令即可完成设置。

具体示例：

• Mintlify在10分钟内集成Context.dev，实现了将任意GitHub仓库URL转为完整、带品牌风格的文档站点。
• 通过Zod Schema定义数据提取格式，调用/web/extract接口即可获取结构化数据。
• 实时读取网页（如定价页）并返回Markdown，延迟仅247ms。
• 将网站sitemap内容转为Markdown，直接接入Embedding管道，构建知识库。
• 输入公司域名，自动填充注册表单中的公司名称、行业、品牌色、描述、Logo等字段，减少用户流失。
• 识别非标准交易描述（如“SQ *BLUE BOTTLE COF”）并映射到对应品牌（Blue Bottle Coffee）。
• 整合多个供应商（爬虫、品牌数据、CDN）为一个平台，避免自行维护基础设施。

用户反馈：已有5,000+开发者使用。多位用户（如UsePropane.ai创始人、Mintlify工程经理、Architect CPTO、DocsBot创始人）表示集成简单（10分钟即可开始），文档详尽，自助注册后立即获得API Key，并且显著提升了用户激活率。

关键要点

• 统一API：仅需一个API Key，即可覆盖网页抓取、结构化提取、品牌智能、Logo CDN等所有数据需求。
• 实时性：Agent可以直接获取当前网页的最新内容，而不是模型训练时的快照。
• 极简集成：支持Dashboard手动操作，也支持AI Agent自动完成注册、Key获取和代码集成。
• 多格式输出：爬取结果支持Markdown、HTML、sitemap；提取支持自定义JSON Schema；品牌数据提供Logo、颜色、字体、公司简介等。
• 低延迟：Logo CDN响应约20ms，网页Markdown提取约247ms。
• 分类功能：支持NAICS和SIC行业分类，以及交易识别，可处理非标准描述符。
• 典型应用场景：AI Agent实时读取网页定价、构建知识库、自动填充注册表单、品牌识别、商户描述解析等。
• 用户验证：Mintlify、UsePropane.ai、Architect、DocsBot等公司已在实际产品中集成，反馈集成时间在10分钟内。
• 替代方案：可以替代多个零散供应商，无需自行搭建爬虫、数据管道和品牌数据基础设施。

意义与影响

Context.dev的出现，标志着“Web数据基建”正从碎片化、高维护成本走向统一化、即时可用。对于AI Agent和自动化工具开发者而言，最大的痛点在于获取“活的数据”——模型训练数据是静态的，而现实世界中的网站信息（定价、产品、公司信息）时刻变化。Context.dev让Agent能够像人类一样，直接访问当前网页并理解其内容，且以结构化、LLM友好的格式返回。

这种“一次集成，全面覆盖”的API设计，大大降低了开发者的起步门槛。过去，团队需要分别对接爬虫服务（如ScrapingBee）、品牌数据API（如Clearbit）、Logo CDN、图像处理服务等，现在只需一个API即可完成。同时，通过支持AI Agent自助注册和集成，进一步缩短了从想到做到的时间。

从商业角度看，Context.dev定位清晰：服务于“构建软件和AI Agent的团队”。其产品形态既适合ToB的企业级数据自动化（如客户入职流程自动化、竞品监控），也适合AI Agent开发者（如让Agent自动访问网页获取信息）。此外，品牌智能和Logo CDN这类轻量级功能，可以嵌入任何Web应用，提升用户体验和转化率。

总体而言，Context.dev代表了Web数据API的一个新趋势：将爬虫、提取、结构化、品牌识别等能力封装成单一、可组合的接口，让开发者专注于核心业务逻辑，而无需操心数据基础设施的复杂性。随着AI Agent的普及，这类“实时Web上下文”服务将变得愈发重要。