跨境Ai视界 最近在和Claude的聊天中，突然想到了，如何能进一步减少大模型给关键词打标的幻觉。可以通过聚合分类，把相似的关键词聚合到一起，形成一个分类。让大模型对每个分类识别一个主题，不用对每个词单独识别。一是速度可以快不少，二是准确率也提高不少。
最后通过各种数据指标的结合，筛选出不同类型的词库，适合写文案的词，适合打广告的词等等。然后通过关键词聚类的方法，把相近词聚在一起，先做长尾词，再做相关大词，这样就形成了一个可复制的方法论。
整个流程我已经在本地测试成功了，也尝试了接入到扣子和网站。但是扣子的数据格式比较麻烦，一定要符合飞书表格的格式，格式总是报错。
另外，我想把程序接入网站。但是我的网站用的是Hugo做的，主要是静态内容，又不能很好的接入动态程序，做api的话，又超过了我的能力范围。综合所有因素，我决定在本地用python运行，暂时不考虑入网。
为了大家的观感，我尽量在文章中少放代码，最后我会把整个代码放到飞书团队里，可以加我微信获取。
业务逻辑
首先，我们先从运营上理清整个逻辑。我们的目标是做一个关键词库，形成可量化的SOP。我们已经知道了找竞品ASIN，获取整体的关键词表格。数据清理也进行了一大半。现在要解决的是关键词聚类和大模型对聚类打标。之后通过清理后的表格，做出透视图，形成词库。
数据源
我以投影仪为例，来按整个流程走一遍。先通过卖家精灵插件，在两个维度，best seller和搜索核心关键词页面，找出相关的产品，再把不同类的产品删去。
找竞品ASIN
找到Video Projector best seller小类目，导出数据。
搜索projector关键词，大概取10页内的数据就行，看具体产品。
筛选掉不相关的产品，收集好竞品ASIN，保存到飞书表格。这些ASIN可以作为后面ASIN定位广告中的投放产品。
拓展流量词
接下来，我们按销量降序，找20个ASIN，放到卖家精灵里面查询，导出整个反查关键词。拓展流量词的功能解释在这里。
我们把20个ASIN放进去，批量反查，导出表格，作为关键词词库的总表。
由于我还有之前3000个投影仪关键词表的记录，我就直接拿来用了。
数据处理
表格清洗
具体的代码就不展示了，主要解释下清理的逻辑。
- 筛选列”相关产品”，筛选值为此列最大数值的30%。为了保证反查出来的词和产品相关度高。
- 按“流量占比”列降序。主要的排序依据，卖家精灵的解释在下面。
- 保留需要的列：关键词，关键词翻译，流量占比，ABA周排名，月购买量，购买率，SPR，商品数，点击集中度，前三ASIN转化总占比，PPC竞价
关键词聚类
我测试了几个聚类的方法，最终选择了NLTK处理文本，TF—IDF向量化和K-means聚类。
这样做的目的是为了把相似词聚在一起。从运营上说，我们经常说广告打长尾词会促进大词的排名。但是长尾词的概念又有点模糊，是指长度吗，还是指什么。所以这里，我用科学的方法，从语义上把关键词聚类。
如果我的最终目的是促进Projector这个词的排名，那我可以从这个类的其他语义长尾词开始，按流量占比开始打广告。这样就可以量化，有明确的指标和分类，不会仅凭感觉找长尾词。
下面是名词解释，感兴趣的朋友可以深入研究。
大模型对聚类打标
还记得之前在listing机器人中是怎么做的吗？我是先单独的把表格清理完成后，再让大模型把每个关键词单独的打标。这样的好处是简单，坏处就是无法避免大模型的幻觉，不太容易量化，好在我们也不是特别需要这个打标结果。
这次是让大模型给聚类里的关键词识别一个主题，进一步减少大模型的幻觉，降低不可控因素，所以我把大模型直接放到代码中。
最近智谱AI已经完全免费了GLM4-flash版本，而且送了很多GLM4其他版本的token。所以我就在代码中调用了智谱AI对聚类进行识别。
大家有需要的可以在智谱开发者平台申请免费api。 https://bigmodel.cn/console/
流量占比降序
聚类做好之后的序号是随机的，不方便查看。我们可以让程序计算每个聚类的流量占比总和，再按降序排列，再重新分配编号。
最后导出表格，整个代码处理过程只需要10秒，这样就得出了一个完整的关键词库。
Tableau透视表
有了分类后的关键词表格后，我们需要做透视表，更加清晰的选词。软件可以用Tableau，我加了链接，点击关键词可以跳转到亚马逊搜索界面。
界面解释
我来解释下，每个版块的逻辑：（数据筛选根据实际情况，不固定）
- 概览：只筛选有ABA排名的词，按流量占比降序
- 核心词：流量占比远高于绝大部分词
- 扩展词：流量占比小，购买量大
- 词库：上一部分清洗后的表格
怎么用
首先看概览，了解整体的数据。1-5聚类大概占了80%的流量，重点关注。
核心词
核心词全是流量大，购买多的词，可以确定主推的核心词。确定主推词后，再选出适合我们的词。比如说，我觉得新品上来，肯定拿不到projector的流量，可以参考SPR（首页出单量）。假设我们的产品是便携投影仪，那我会选择mini projector和portable projector为主推词。
然后在右边词库中找到mini projector和长尾词在第3类。可以参考SPR，点击共享，转化共享这些数据去进一步选词打广告。这时，我会选择做mini projector 4k, mini projector bluetooth等词作为长尾词去打广告。
如果这些词在广告排名或者自然排名有了上升之后，再去考虑做mini projector, portable projector, projector with wifi and bluetooth这些词。最后这些词都有了一定的排名后，再去考虑推projector，成功率会更大。
再回顾下这个流程，是不是会比盲目的直接去做projector这个最大词好很多呢。
扩展词
另外，说下扩展词的逻辑是流量占比小，购买量大。这可能就是不相关的词，或者垂直行业再往外扩展一点的词。这些词不太适合新品前期去主推，但是也不能完全抛弃。可以在精准流量稳定之后，计划扩展这些词。前期做广告的时候可以适当做否定。
比如projector screen，就个搜索出来就是卖投影仪幕布的，属于配件了。
inflatable projector screen for outside 这个词更加离谱，就不是主流的投影仪。如果前期完全依赖自动广告去跑词，不做任何否定的话，是很有可能跑出这种词的。这种泛词，新品前期出单的概率很小。
所以我们做这么多数据，去按一定的方法筛选适合的关键词的意义就在这里，投广告的时候少花冤枉钱。
总结
整体流程，从获取关键词表格开始，用python清洗表格，K-means进行关键词聚类，然后用大模型给聚类打标，导出表格。最后用Tableau进一步选词，用各种数据指标量化关键词。这一套流程下来，做出的词库，可以给大模型写listing，也可以做打广告，基本上把站内SEO的词库给搞定了。
核心的核心还是对整个运营的理解，代码辅助和AI，真正把AI落地到工作当中。
还是老样子，所有的文件，包括表格，代码，透视表，都在飞书文档，加我微信领取。已经在飞书团队的朋友直接就能看到。欢迎大家在评论区留言与我讨论。