网络爬虫
ElnathBot
ElnathBot 是 Elnath AI 的网络爬虫。本页说明它是什么、抓什么、怎么遵守 robots.txt,以及您怎么限制或屏蔽它。
一览
- User-Agent
ElnathBot/1.0 (+https://elnathai.com/bot)- robots.txt 里的名字
ElnathBot- 出口 IP
8.210.34.206(机器读的列表:/bot/ips.json)- 频率
- 同一网站同一时间一个连接,两次请求至少间隔 2 秒
- 联系邮箱
- bot@elnathai.com
ElnathBot 做什么
Elnath AI 整理制造业企业公开发布的信息,帮采购方找到合适的工厂。ElnathBot 读取企业官网上的公开网页,从中整理出事实信息,例如:
- 企业名称、所在地区、主营业务和产品;
- 资质证书、厂房规模、主要设备;
- 企业自己发布的新品、展会、获奖等动态。
我们会用 AI 模型从网页里提取这些事实。整理出来的内容由我们重新撰写,并注明来源网址和抓取时间。
我们不做这些事
- 不转载、不出售网页原文;
- 不用抓到的内容训练生成式 AI 模型;
- 不收集个人信息:个人姓名、个人手机号、私人邮箱(QQ、163 这类)、微信号一律不存。联系方式只保留企业公开的座机、传真、企业域名的邮箱和企业地址,而且对外只显示遮掉一部分的号码。
抓什么、不抓什么
- 只抓公开网页。需要登录、注册、填写表单才能看到的页面不抓;不提交表单,不进购物车、搜索结果页。
- 只抓网页文字。不下载图片、视频、PDF、压缩包、安装包这类文件。
- 抓得少。每个网站每一轮最多读 30 页左右,优先读首页、关于我们、产品、联系方式、资质、新闻;大约每 30 天回来看一次有没有更新。
- 有时用浏览器渲染。少数网站要运行页面脚本才显示内容,这时我们用无界面浏览器打开页面,身份和规矩都跟上面一样,并且不加载图片、视频、字体和别的网站的资源。
怎么认出 ElnathBot
ElnathBot 每次请求都带这个 User-Agent:
ElnathBot/1.0 (+https://elnathai.com/bot)
ElnathBot 只从 8.210.34.206 访问。机器读的列表在 https://elnathai.com/bot/ips.json,IP 有变化会先更新这里。
我们不冒充浏览器,也不换 IP 绕开封禁。如果看到自称 ElnathBot、但不是从上面这个 IP 来的访问,那不是我们。
怎么遵守 robots.txt
ElnathBot 按 RFC 9309 读取和执行 robots.txt:
- 认
User-agent: ElnathBot这一组(不分大小写);没有写到 ElnathBot 时,按User-agent: *那一组执行。 Allow、Disallow按最长匹配规则判断,支持*和$。- 每次抓取前都会确认规则,robots.txt 最多缓存 24 小时,您改了之后最迟一天内生效。
- robots.txt 返回 404 之类的 4xx:当作没有限制。返回 5xx 或连不上:当作全站禁止,过一阵再试。
- 支持
Crawl-delay。我们本来就保证同一网站同一时间只有一个连接、两次请求至少间隔 2 秒;您写的间隔更长就照您的;超过 60 秒的,我们暂停抓取这个网站。 - 有时我们会参考公开网页存档(例如 Common Crawl)补齐连不上的网站。用之前同样按您的 robots.txt 里给 ElnathBot 的规则过滤:您禁止了 ElnathBot 的页面,我们也不从存档里用。
遇到验证码、人机验证、403、429,我们记录下来并停止访问这个网站,不破解、不绕过。
怎么限制或屏蔽 ElnathBot
全站屏蔽
User-agent: ElnathBot
Disallow: /
只屏蔽一部分目录
User-agent: ElnathBot
Disallow: /internal/
Disallow: /downloads/
放慢速度(两次请求至少隔 10 秒)
User-agent: ElnathBot
Crawl-delay: 10
发邮件给我们
写明您的域名,发到 bot@elnathai.com。我们收到后停止抓取这个网站,并删除已经整理的这家企业的数据和保存的网页。
改资料、纠错
如果您是网页上的企业,发现我们整理的信息有错,或者想补充、修改,请发邮件到 bot@elnathai.com,写明企业名称和要改的地方。我们核实后更正。
联系我们
关于 ElnathBot 的任何问题:bot@elnathai.com
本页更新于 2026 年 11 月 21 日。