博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
文本聚类
阅读量:6602 次
发布时间:2019-06-24

本文共 609 字,大约阅读时间需要 2 分钟。

文本聚类就是要在一堆文档中,找出哪些文档具有较高的相似性,然后可以针对这些相似文档的聚合进行类别划分。本文聚类应用场景:提供大规模文档集进行类别划分并提取公共内容的概括和总览;找到潜在的各个文档间的相似度进行相似度判别、类别修正,以减少浏览相似文档和信息的时间和精力。

通常,聚类分析是针对数值型做计算的,K均值这类基于聚类的算法要求只有数值型变量才能得到距离相似度。对于文本聚类而言,由于不同文本集出现的全部都是文字内容,因此无法直接针对这些文本进行聚类。

实现文本聚类,除了要进行必要的文本数据清洗和预处理外,还有两个前置条件:

  • 分词。分词是实现聚类条件的第一个必要步骤,分词之后会得到不同文本集已经分割好的单词(常用的分词方法:最大匹配法、逆向最大匹配法、双向匹配法、最佳匹配法、联想-回溯法)。
  • word to vector。也称为文本转向量、词转向量,目的是将不同文本集的单词集合,转换为向量集合,然后通过向量空间模型建立向量矩阵。(常采用向量空间模型来描述文本向量,即将文档作为行,将分词后得到的单词(单词在向量空间模型里面被称为向量)作为列,而矩阵的值则是通过词频统计算法得到的值。这种空间向量模型又称文档特征矩阵。)

完成上述两个基本步骤后,可以基于向量矩阵做文本聚类分析、情感分析、词频统计、相似词频等。

 

转载于:https://www.cnblogs.com/keye/p/8917197.html

你可能感兴趣的文章
Drupal 7 数据库 操作
查看>>
第一部分 思科九年 一(1)
查看>>
DBA日常工作职责
查看>>
Redis的持久化
查看>>
linux安装NFS服务器学习
查看>>
Planner .NET日历日程控件能给你的应用程序提供多种日历日程功能
查看>>
我的友情链接
查看>>
Linux压力测试
查看>>
JAVA中的线程机制(二)
查看>>
nginx安装与配置2(转载)
查看>>
Linux下Mongodb安装和启动配置
查看>>
2015 成长计划
查看>>
沈阳一饭店凌晨爆燃,燃气报警器时刻预防
查看>>
Redis 与 数据库处理数据的两种模式
查看>>
VUE2中axios的使用方法
查看>>
assert 断言
查看>>
CS 229 notes Supervised Learning
查看>>
jQuery,ajax,for循环使用典型案例
查看>>
2018.10.27-dtoj-3996-Lesson5!(johnny)
查看>>
genimage.cfg.template hacking
查看>>