一款完全开源并免费的监测与分析系统，支持监测，预警，分析，报告，支持本地化部署（附源码）
前言
在当今这个信息爆炸的时代，企业和个人都需要时刻了解网络上的动态，以便及时了解自身品牌形象和社会舆论的变化。然而，现有的舆情监测工具往往价格昂贵，且cao作复杂，难以满足普通用户的需求。
在这种背景下，思通舆情 应运而生，它致力于处理当前舆情监测工具中存在的痛点，为用户提供一个高效、便捷、低成本的处理方案。
介绍
思通舆情 是一款完全开源并且免费的舆情监测系统。该系统支持本地化部署。通过思通舆情，用户可以对海量的舆情数据进行交叉分析和深度挖掘，从而获得全面的舆情信息，进行专业的舆情分析，实现快速的舆情处理，以此来提升企业的品牌价值和风险控制能力。
特点
-
开源开放：零门槛获取和安装，允许用户快速获取并安装系统，及时收集用户反馈，并按月更新版本。
-
简单易用：用户界面设计直观，通过简单的鼠标拖拽即可完成复杂的分析工作。
-
秒级响应：即使面对庞大的数据集，系统也能在几秒钟内返回查询结果。
数据来源
思通舆情的数据覆盖了广泛的来源，包括但不限于：
-
新闻媒体：涵盖各大主流新闻网站、应用程序及电子报刊。
-
网络自媒体：整合了搜狐、百度百家号、今日头条、博客、企鹅号、微-信公-众号以及微-博等多个平台的信息。
-
论坛：整合了贴吧、各类论坛、问答平台以及知乎等社区。
-
短视频：收录了来自抖音、快手等热门短视频平台的内容。
技术架构
数据采集
-
开发平台：采用 Java J2EE 和 SpringBoot 框架。
-
采集框架：利用 Spider-flow、WebMagic 及 HttpClient 实现数据抓取。
-
APP采集：采用 Xposed 框架。
-
URL仓库：使用布隆过滤器与 Redis 结合的方式存储 URL。
-
网页渲染解析：采用 Jvppeteer、Playwright 以及 Selenium 实现网页内容的渲染与解析。
-
web应用服务器：配置 Nginx 和 Tomcat 提供服务。
-
储存任务发送：通过 Kafka 和 Zookeeper 发送任务。
-
抓取任务发送：利用 RabbitMQ 发送抓取任务。
-
配置管理：使用 MySQL 进行配置管理。
-
前端展示：采用 Bootstrap 和 Vue 构建前端展示层。
数据处理
-
开发框架：基于 SpringBoot。
-
开发语言：使用 Java J2EE。
-
数据暂存：以 MySQL 作为数据暂存地。
-
数据索引：利用 Redis 加速数据访问。
-
深度学习：使用 PaddlePaddle 框架。
-
自然语言处理：借助 HaNLP 和 THUCTC 工具。
-
数据处理和储存任务发送：通过 Kafka 和 Zookeeper 协调任务。
-
数据初始化：集成 FlyWay 自动初始化 MySQL。
-
数据中台：集成自研组件和 DataEase。
-
数据总线：使用 RocketAPI （二次开发）。
数据分析
-
数据库：使用 MySQL 存储数据。
-
数据检索：采用 Elasticsearch 进行数据检索。
-
中文分词器：使用 IK 分词工具。
-
相似度计算：利用 Clickhouse。
-
数据同步：通过 DataX 同步数据。
-
文章储存：采用 MongoDB 存储文章。
-
数据缓存：利用 Redis 缓存数据。
-
消息队列：使用 Kafka 和 RabbitMQ。
-
开发框架：基于 SpringBoot。
-
开发语言：使用 Java J2EE。
-
图表展示：采用 Apache Echarts 和 AnyCharts 展示数据。
部署方式
使用 Docker 进行部署，命令如下：
docker run -itd --name stonedt_yuqing -p 8085:8085 registry.cn-beijing.aliyuncs.com/stonedt_yuqing/stonedt_yuqing:1.0.7
开源协议
本项目遵循 GPL 开源协议。
功能展示
舆情监测：具备全文搜索、来源搜索、热搜监测等功能，实现对全网文本、图片、视频舆情的实时监控。
舆情分析：涵盖全网事件分析、事件分析、传播分析、竞品分析、评-论分析、热度指数等多种大数据分析功能。
舆情报告：支持一键生成日、周、月、季度报告，并提供行业舆情案例库，辅助舆情应对决策。
智写报告：内置丰富的报告模板和样式，结合 AI 技术，快速生成专业报告。
更多的功能待你来发现。
结语
思通舆情 以其强大的功能和简便的cao作，为广大的企业和个人提供了全-方位的舆情监测和分析服务。
后端开源地址：https://gitee.com/stonedtx/yuqing
使用手册：https://gitee.com/stonedtx/yuqing/blob/master/install_guide.md