【大模型】ChatGPT 数据分析与处理使用详解
目录
一、前言
二、AI 大模型数据分析介绍
2.1 什么是AI数据分析
2.2 AI数据分析与传统数据分析对比
2.2.1 差异分析
2.2.2 优劣势对比
2.3 AI大模型工具数据分析应用场景
三、AI大模型工具数据分析操作实践
3.1 ChatGPT 常用数据分析技巧操作演示
3.1.1 快速生成数据
3.1.2 在线分析数据
3.1.3 在线提取数据
3.1.4 离线数据提取与分析
3.1.5 提取PPT数据
3.1.6 提取文档数据并分析
3.2 使用GPTs进行数据分析
3.2.1 在线提取数据
3.2.2 在线分析数据
3.2.3 识别图片并提取图片中的数据
3.2.4 处理excel数据
3.3 补充说明
四、写在文末
一、前言
在大多数人的印象中，数据分析是一门神秘而又比较困难的学科技术，属于特殊领域的人才能做的事情，比如大数据工程师，数据专家，BI数据分析师等，但是随着AI等大模型的开源以及当下各种AI助手的广泛使用，普通人也可以借助ChatGPT等AI工具完成一些基本的数据提取，数据转换和数据分析等功能，从而完成之前不敢想象的事情，本文将详细介绍一下如何借助AI等大模型工具完成一些日常的数据分析工作。
二、AI 大模型数据分析介绍
2.1 什么是AI数据分析
AI数据分析是指利用人工智能技术，特别是机器学习（ML）和深度学习（DL），来自动处理、分析和解释复杂数据集的过程。它不仅能够快速处理海量数据，还能发现其中的模式、趋势和关联，为决策提供有力支持。
-
定义：AI数据分析结合了统计学、计算机科学和领域专业知识，通过自动化算法从数据中提取有价值的信息。
-
目标：提高数据分析的速度、精度和效率，辅助或替代人类进行复杂的分析任务。
-
关键技术
-
机器学习
-
深度学习
-
2.2 AI数据分析与传统数据分析对比
AI大模型等工具进行数据分析与传统数据分析方法相比，在多个方面存在差异，且各自具备独特的优劣势。以下是两者的多个维度的对比分析。
2.2.1 差异分析
尽管两者最终的目的相同，都是通过分析数据得出预期的结果，但仍然存在一些差异
-
自动化程度
-
AI工具：高度自动化，能够处理从数据预处理到模型构建、评估的整个流程，甚至可以自动选择最优算法。
-
传统方法：通常需要较多的人工干预，包括手动编写代码、调整参数等。
-
-
处理速度和规模
-
AI工具：擅长处理大规模、复杂的数据集，能够在短时间内完成复杂的计算任务。
-
传统方法：可能在面对海量数据时显得效率较低，且处理时间较长。
-
-
预测能力
-
AI工具：通过机器学习和深度学习算法，AI工具能够更准确地捕捉非线性关系，提供更精确的预测。
-
传统方法：主要依赖于统计学原理，对于某些非线性和复杂模式的识别能力有限。
-
-
灵活性和适应性
-
AI工具：可以根据新数据不断自我优化和学习，具有更强的自适应能力。
-
传统方法：一旦模型建立，其结构相对固定，难以快速适应新的变化或趋势。
-
-
用户友好度
-
AI工具：许多AI平台提供了图形界面和拖拽式操作，降低了使用门槛，使得非技术人员也能轻松上手。
-
传统方法：往往要求使用者具备一定的编程技能和统计知识，对普通用户的友好度较低。
-
2.2.2 优劣势对比
AI大模型工具与传统的数据分析有各自的优劣势，下面分别说明。
1）AI工具优劣势说明：
-
优势
-
高效性：快速处理大量数据，缩短了数据分析周期。
-
准确性：能更好地识别复杂模式，提高预测精度。
-
智能化：支持自动化特征工程、模型选择和调参，减少了人工劳动。
-
可扩展性：易于集成到现有的IT架构中，并随着业务需求的增长而扩展。
-
-
劣势
-
解释性：某些高级AI模型（如深度神经网络）被称为“黑箱”，难以解释其决策过程。
-
数据依赖：性能高度依赖于高质量的数据输入，如果数据质量不佳，可能导致结果偏差。
-
成本较高：初期部署和维护成本可能较高，特别是对于中小企业而言。
-
2）传统数据分析优劣势
-
优势
-
透明性：基于明确的统计假设和公式，结果易于理解和解释。
-
适用性广泛：适用于各种规模的数据集，尤其是小样本量的情况。
-
成本效益：不需要昂贵的硬件设施或复杂的软件环境，适合预算有限的企业。
-
-
劣势
-
灵活性不足：面对快速变化的数据环境时，调整模型较为困难。
-
效率较低：在处理大规模数据时，计算速度和响应时间相对较慢。
-
人力密集：需要更多专业人员参与数据分析过程，增加了人力成本。
-
总结来说，AI工具和传统数据分析方法各有千秋。选择哪种方式取决于具体的业务需求、数据特点以及企业的资源和技术水平。在实际应用中，两者也可以结合使用，以充分发挥各自的长处。
2.3 AI大模型工具数据分析应用场景
AI大模型工具在数据分析中能够发挥巨大作用，特别是在处理复杂、大规模数据集时。这些工具不仅能够快速处理和分析大量信息，还能发现传统方法难以捕捉的模式和关系。以下是AI大模型工具做数据分析的具体使用场景：
-
数据预处理
-
AI工具在数据预处理中发挥重要的作用，包括数据清洗、标准化和转换。
-
通过AI算法，可以自动识别并修正错误数据、填补缺失值，确保数据的完整性和一致性，从而提高后续分析的准确性和效率
-
-
-
模式识别
-
AI可以通过模式识别技术从海量数据中发现隐藏的规律和趋势，为决策提供依据。
-
例如，在金融领域，AI可以从交易数据中识别潜在的欺诈行为；在零售行业，AI可以通过图像识别技术分析顾客的购物行为，优化商品陈列和库存管理
-
-
-
预测分析
-
AI算法，尤其是机器学习和深度学习，能够从大量数据中识别模式并进行预测，帮助企业更准确地预测未来趋势、行为模式和结果。
-
例如，通过分析用户行为数据，企业可以制定个性化的营销策略，提高销售效果
-
-
-
智能推荐系统
-
在电商、在线教育等行业，AI通过对用户行为数据的分析，实现个性化推荐和智能推荐，提高用户满意度。
-
例如，智能推荐系统可以根据用户的浏览和购买历史，推荐相关的商品或课程
-
-
-
风险控制
-
银行、保险等行业可以通过AI技术对海量数据进行快速处理和分析，提高风险预警和识别能力。例如，AI可以实时监测交易数据，识别潜在的欺诈行为
-
-
决策支持
-
AI可以将海量数据转化为可视化图表和报告，帮助企业提高决策效率和准确度。通过数据分析AI技术，企业可以更好地理解市场趋势和客户需求，做出更明智的决策
-
-
自然语言处理
-
NLP技术使得计算机能够理解和分析人类语言。在数据分析中，NLP可以用于处理文本数据，执行情感分析、主题建模和实体识别等任务。例如，通过分析社交媒体上的用户评论，企业可以了解市场反馈和品牌声誉
-
-
聚类和分群分析
-
AI算法可以自动进行聚类分析，将数据分为相似的群组，有助于发现数据中的隐藏结构和模式。例如，在市场细分中，AI可以将客户分为不同的群体，帮助企业制定针对性的营销策略
-
AI大模型工具凭借其强大的计算能力和智能化特性，在多个行业中展现出广泛的应用潜力。随着技术的发展，这些工具将继续拓展其应用场景，为企业和个人带来更多价值。它们不仅提高了数据分析的速度和准确性，还带来了新的业务洞察和创新机会。
三、AI大模型工具数据分析操作实践
接下来将通过实战案例，结合日常工作中常用的数据分析场景为背景进行演示操作，在正式开始之前有下面几个建议需要提前准备或储备：
-
具备使用AI大模型工具的能力，比如像ChatGPT，通义千问，文心一言等，各个大模型虽然底层模型不同，但是使用技巧类似；
-
掌握与AI大模型工具对话的常用提示词技巧，即Prompt技巧，对话中好的提示词能够让AI工具反馈的答案更精准，效果体验更佳；
3.1 ChatGPT 常用数据分析技巧操作演示
ChatGPT升级到4之后，模型背后的数据分析能力也得到了极大的增强，借助GPT的数据分析能力，以及内置的GPTs数据分析助手，可以帮助我们完成很多意想不到的数据功能，下面将一一介绍。
3.1.1 快速生成数据
对很多初入职场的同学来说，做市场调研，或搜集一些可用于支撑业务决策的报告时，往往需要做一些基本的数据调研，这个时候往往会借助各类网站的数据源获取原始数据，如果使用AI大模型工具，只需要通过提问的方式即可完成，比如下面的案例中，我们向GPT问几个问题就可以得到全世界GDP排名前十的国家相关的指标统计。
问题1：
-
请列举出人均GDP前十名的国家，GDP值，国家人口数，并以表格的形式展现
问题2：
-
补充一列新的数据
3.1.2 在线分析数据
针对上一个场景继续深入，假如我们找到了一手数据源的网站，并且这样的网站也给出了不错的有价值的数据源，就可以省去自己把数据爬下来的过程，那么就可以借助GPT等AI工具进行在线的分析，得出你想要的答案，比如这里我们选取一个“国家数据“网站，找到了这样一篇文章：
https://www.stats.gov.cn/sj/zxfb/202412/t20241216_1957755.html
基于文章中的数据，我们希望借助GPT分析数据并得出一些结论，首先给出如下的提示词：
作为数据分析专家，我将给你提供数据，你对数据进行深入分析并给出分析结论：
数据描述：<2024年11月份70个大中城市商品住宅销售价格变动情况>
数据链接：<https://www.stats.gov.cn/sj/zxfb/202412/t20241216_1957755.html>输入对话框之后，GPT给出下面的结论
这个分析还是很详细的，对于分析的结论，如果还有更深入的问题，可以继续提问：
根据提供的数据和分析，预测2025年商品住宅销售的趋势
且不论分析的准确度如何，单就出这个结论，就能省去人工非常多的时间，而只需要对其结论做二次汇总、校验、修正和完善即可，毕竟AI工具是基于算法得出的结论还是具备可靠性的。
有兴趣的同学也可以找一些其他的公开的数据源网站，借助AI工具做下分析尝试，这里再提供另一个开源的数据网站：kaggle
3.1.3 在线提取数据
如果你看到了一篇不错的可用于后续工作中业务使用的文章，而且文章里面的数据对你来说很有参考价值的时候，可以借助AI等大模型工具将文章中的数据提取出来，比如在这里有下面一篇来自wiki的文章
https://en.wikipedia.org/wiki/History_of_artificial_neural_networks
我们的需求是，提取文章中的事件和时间，提示词如下：
请为我提取这篇文章中的重要事件和时间点。文章地址如下：
https://en.wikipedia.org/wiki/History_of_artificial_neural_networks
3.1.4 离线数据提取与分析
如果我们的数据源是一段文本，一张图片，或一个excel，一个PDF等，仍然可以借助GPT等AI大模型能力完成数据的分析，在这个过程中，大模型同时完成了多项工作，比如图片识别，数据提取，数据分析，输出总结，可以说，这些事情放在多年前，任何一项使用一些第三方服务都是价格很高昂的，如下，我们有下面的一张图片，在图片中有一些数据，希望GPT能够提取并转换成excel数据，最后给出分析报告。
提问1：
-
请根据我接下来上传的图片，提取里面的数据并输出为excel，以中文展示
问题2：
-
根据上面的excel数据预测2025年各个编程语言的排名和趋势
3.1.5 提取PPT数据
从一个文档中提取我们需要的信息，比如在下面的文档或PPT中，通过GPT等大模型工具，提取中我们需要的内容。
问题1：
-
根据我上传的文档，提取有关Redis的常用命令，并说明每个命令的简单用法，以excel展现
3.1.6 提取文档数据并分析
当你需要提取文档中的关键数据时，可以考虑使用GPT等大模型工具来帮你完成，如下有一个关于手机报告的文档，我们需要提取文档中的数据输出为excel方便汇总分析
问题1：
-
接下来请根据我上传的文档，提取文档中的关键数据，并输出为excel，以中文展示
问题2：
-
添加一栏
3.2 使用GPTs进行数据分析
在之前的一篇关于GPTs使用的文章中，我们详细分享了GPTs的使用，在GPTs中有很多热心的伙伴们分享的行业AI助手，可以对特定领域类的问题进行专业的回答和处理，比如针对数据处理，有下面这个 Data Analysis & Report AI ，在探索GPTs中可以搜到
其功能和效果与ChatGPT对于数据分析处理类似，不过某些方面甚至做了强化处理，下面分享几个小的案例。
3.2.1 在线提取数据
提取网站链接的数据，提示词如下：
请为我提取这篇文章中的重要事件和时间点。文章地址如下： https://en.wikipedia.org/wiki/History_of_artificial_neural_networks
3.2.2 在线分析数据
与上一小节一个相同的提示词
作为数据分析专家，我将给你提供数据，你对数据进行深入分析并给出分析结论：
数据描述：<2024年11月份70个大中城市商品住宅销售价格变动情况>
数据链接：<https://www.stats.gov.cn/sj/zxfb/202412/t20241216_1957755.html>
3.2.3 识别图片并提取图片中的数据
以上一小节中的一个国家网站房产销售数据图片为例
相比GPT来说，我并没有给出太多的提示词，当前的GPTs助手就能在识别并提取数据之后给出分析结论
3.2.4 处理excel数据
如下我们有一个excel的数据需要分析和处理
首先上传excel让GPTs识别并提取excel的数据
GPTs首先提取并输出了表格形式的数据
然后我们可以基于输出内容进行进一步的分析，比如汇总数据、生成趋势图等操作
3.3 补充说明
上面演示的是基于ChatGPT 4以及GPTs的数据分析场景，当然国内目前也有很多AI大模型工具也具备数据分析和处理的能力了，比如通义千问，文心一言，星火，智谱清言等，有兴趣的同学也可以尝试尝试。
四、写在文末
本文通过较大的篇幅结合实际操作案例，详细介绍了使用GPT等AI工具处理日常数据分析的各类场景，希望对看到的同学有用，本篇到此结束，感谢观看。