当前位置：首页 > article >正文

从Excel到Hadoop：数据规模的进化之路

article 2025/2/27 14:26:07

从Excel到Hadoop：数据规模的进化之路

在数字时代，数据就像空气，充斥在我们生活的每个角落。今天我们谈"大数据"，但回头看看，数据的演变经历了从"小数据"到"大数据"的量变到质变的过程。从Excel到Hadoop，这条路走得并不容易。

小数据时代：单机能搞定的岁月

在数据量较小的时候，Excel、CSV 文件，甚至 MySQL 这种单机数据库，都是得力助手。比如，一个小型公司需要管理1000个客户的订单信息，一个简单的 Excel 表格就能轻松搞定。

import pandas as pd

data = pd.read_csv("orders.csv")  # 读取订单数据
print(data.head())  # 查看前五行

这类操作对大多数中小企业而言绰绰有余。但是，随着业务增长，数据量激增，比如从1000条数据变成1000万条，Excel 直接崩溃，MySQL 查询开始变慢，我们就必须考虑更强大的解决方案。

中数据时代：数据库的崛起

当数据量达到百万级别，SQL数据库成为主流。比如，一个电商公司每天新增数百万订单，MySQL 或 PostgreSQL 还能应付，但需要优化索引和分库分表，否则查询会变慢。

CREATE INDEX idx_order_date ON orders(order_date);

然而，数据库有极限：单机性能有限，磁盘 I/O、CPU 处理能力、网络带宽都是瓶颈。如果数据量增长到 TB 级别，单机数据库就不够用了。于是，分布式架构开始登场。

大数据时代：分布式存储与计算

当数据量突破TB甚至PB级别，传统数据库已经无能为力，分布式计算成为标配。Hadoop、Spark 等大数据技术诞生，彻底改变了数据处理方式。

Hadoop：批处理的时代

Hadoop 采用 HDFS 存储数据，并使用 MapReduce 进行计算。比如，我们想统计 100TB 日志文件中某个关键词的出现次数，可以用 MapReduce 解决：

from mrjob.job import MRJob

class WordCount(MRJob):
    def mapper(self, _, line):
        for word in line.split():
            yield word, 1

    def reducer(self, key, values):
        yield key, sum(values)

if __name__ == "__main__":
    WordCount.run()

但 MapReduce 有个问题：慢！每次计算都要读写 HDFS，磁盘 IO 是瓶颈。于是，Spark 横空出世。

Spark：内存计算加速大数据分析

Spark 相比 Hadoop 的最大优势是基于内存计算，极大提高了速度。例如，我们用 PySpark 统计大数据集中的订单总金额：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("OrderSum").getOrCreate()
df = spark.read.csv("orders.csv", header=True, inferSchema=True)
df.groupBy("category").sum("price").show()

这种计算方式比传统数据库查询更快，也比 Hadoop MapReduce 高效得多。因此，在大数据分析领域，Spark 逐渐成为主流。

大数据的未来：实时计算与AI

如今，数据量仍在爆炸式增长，实时计算成为刚需。例如，在短视频平台，每秒产生数百万条用户行为日志，传统批处理已无法满足需求，流计算框架如 Flink 迅速崛起。

from pyflink.datastream import StreamExecutionEnvironment

env = StreamExecutionEnvironment.get_execution_environment()
df = env.from_collection([(1, "click"), (2, "view"), (3, "like")])
df.print()
env.execute("Real-Time Stream")