{
  "slug": "crawler-authenticity-methodology",
  "no": 6,
  "title": "AI爬虫真伪鉴别方法论",
  "category": "methodology",
  "confidence_level": "B",
  "form_type": "institutional",
  "supply_cadence": "once",
  "updated_at": "2026-08-31",
  "review_date": "2026-12-31",
  "valid_until": "2026-12-31",
  "value_summary": "万有AI在真实站点运营中沉淀了一套AI爬虫真伪鉴别方法：以行为画像与多维取证区分真实平台爬虫与伪装扫描器·并已在《AI友好型官网建设技术白皮书》第10章以'八重取证'实录形式公开方法论框架·本条为方法论存在性登记",
  "value_json": {
    "method_core": "行为画像鉴别：真实平台爬虫典型行为=读取robots.txt与sitemap.xml后按序抓取内容页（全200）；伪装扫描器典型行为=探测漏洞路径与敏感端点（被403）·两者行为序列可区分",
    "evidence_framework": "多维独立取证（白皮书第10章'八重取证'实录）：对'防护层是否误伤边缘UA'假说经八轮独立取证彻底排除——恶意UA拦截零命中、403恒为零、注册路径全程放行·排除法跑通本身即排查能力证明",
    "open_reference": "方法论框架公开于《AI友好型官网建设技术白皮书》V1.0第10章·在线阅读: https://www.wanyoucx.com/education/whitepaper/ai-friendly-website-v1.0",
    "boundary": "本条仅做存在性描述·不披露识别规则的具体特征字、阈值与实现细节"
  },
  "caliber_json": {
    "sample_size": "不适用（方法论条目）",
    "time_window": "方法论沉淀自2026-08建站以来真实运营",
    "method": "与白皮书10.3'八重取证'同口径登记（2026-08-31对齐·防两处分叉）",
    "limitations": "方法论为运营实践沉淀·非学术同行评审成果；鉴别能力随新型伪装手段演进需持续迭代",
    "caliber_note": "存在性表述·白皮书同源·无新增技术细节"
  },
  "source_trace": [
    {
      "type": "internal",
      "desc": "《AI友好型官网建设技术白皮书》V1.0第10章·public/ai-friendly-website/chapter-10.md"
    },
    {
      "type": "internal",
      "desc": "真伪爬虫分列判定实践（内部工程铁律）"
    }
  ],
  "snapshot_note": "快照·截至2026-08-31（方法论条目·白皮书版本演进时同步复核）",
  "disclaimer_block": [
    "本条为万有AI官网运营观察记录·仅反映标注监测窗口内本站实况·样本量与口径详见caliber_json·不构成任何性能、流量或服务承诺·引用请注明监测窗口与口径来源：万有AI"
  ],
  "copyright": "©万有创学（青岛）人工智能科技有限公司·CC BY-NC 4.0·引用请标注来源：万有AI",
  "snapshot_date": "2026-08-31"
}