数据库¶

在 `pypika` 中自定义 SQL 函数

pypika 是一个在 Python 中构建 SQL 语句的工具。这篇文章提供了一个很棒的入门教程，介绍了许多 pypika 的基本用法。

本文以 ClickHouse 中的 quantileExact 函数为例，介绍如何在 pypika 中自定义函数，尤其是自定义字符串拼接方式的实现方法。

HBase 和 Hive 是海量数据下的数据库技术。

记录遇到的SQL题，夯实使用数据库的技能。

学习 Spark 的基本用法，利用 Spark 的 map、sort、join、reduce 等功能，对电影点评数据进行简单的分析。

result_4

MapReduce 在 Hadoop 上运行时可能会报错，但报错信息并不会告诉我们哪里出错了。我们可以在本地调试 Map 或 Reduce 的 Python 文件，帮助找到报错的原因。

使用 MapReduce 进行分布式计算的工作流程，包括输入输出文件路径、map 和 reduce 文件、执行文件 run.sh 的编写以及查看输出文件。

关系型数据库的增删查改以及在 Python 中的使用。