free-web-search

free-web-search v14 联网搜索工具

基于 Playwright 浏览器实现的稳定搜索工具，意图识别 + 请求节流 + 结果质量评分 + 保留CSS修复。

v14 更新内容

• ✅ [关键修复] 保留CSS：之前拦截CSS导致Bing搜索结果标题文字丢失
• ✅ 意图识别+query改写：搜索质量差时自动改写query（城市游玩→景点推荐、今日价格→实时行情等）
• ✅ 改写仅在质量差时触发：先搜原始query，质量好就不改写，避免改写搞坏本来好的query
• ✅ 请求节流：两次Bing请求间隔≥3s，避免触发限流
• ✅ 限流检测+退避：0结果时递增等待重试，排除重试也0结果时停止
• ✅

  --filter

  回退：过滤后为空自动回退到不过滤结果
• ✅ 单域名排除重试：最多2轮，结果更好才替换
• ✅ DuckDuckGo国内快速失败：10s超时×1次
• ✅

  --no-rewrite

  ：禁用query改写（调试用）

核心能力

• ✅ 中文环境深度优化：强制 Bing 返回中文结果
• ✅ 反爬检测绕过：多层反检测措施（stealth.js）
• ✅ 全文抓取：支持按需抓取目标网页的完整正文内容
• ✅ Headless 模式：服务器可用，无需显示器

【核心必读】搜索Query优化规范

搜索效果的好坏，90%取决于Query是否合理，请严格遵循以下规则生成搜索词：

一、黄金原则

1. 简洁精准：只保留核心关键词，用2-5个核心词组合，禁止长句、反问句、口语化描述
2. 限定明确：需要时效性/领域/地区内容时，必须加上对应的限定词
3. 格式正确：使用中文关键词 + 英文/数字限定词，禁止特殊符号、无意义助词

二、正确示例 vs 错误示例

参数说明

query

max

full

engine

filter

使用示例

# 基础搜索
python scripts/web_search.py "经济新闻 今日" --max=10
抓取前3条结果的全文
python scripts/web_search.py "经济新闻 最新" --full=3
使用 auto 模式（Bing 结果不足时切换 DuckDuckGo）
python scripts/web_search.py "技术教程" --engine=auto
过滤知乎等低质量域名
python scripts/web_search.py "某个话题" --filter

常见问题

搜索返回空结果

1. 检查网络连接（VPN 可能影响 Bing 国内版）
2. 尝试

   --engine=duckduckgo

   直接用 DuckDuckGo
3. 检查 Query 是否过于冗长或口语化

浏览器启动失败

pip install playwright && playwright install chromium

全文抓取失败

• 某些网站有强反爬限制
• 知乎等域名在全文抓取时自动跳过

结果集中在单一域名

• 脚本会自动检测并警告

  [WARN] 结果集中在单一域名

• 解决方案：换用更具体的关键词，避免歧义词

搜索关键词避坑指南

民生新闻

住房 医疗 就业

社会政策 百姓生活

经济新闻

财经政策 GDP

A股 沪指

长护险

长期护理保险 养老服务

服务器环境

• 脚本强制使用

  headless=True

  ，无需显示器
• 已添加服务器兼容的浏览器参数