DIUDIU 小菜鸟

Spark SQL DataSource V2 学习入门 + 代码模板 Data Source API V1 ​ Spark 1.3 版本开始引入了 Data Source API V1，通过这个 API 我们可以很方便的读取各种来源的数据，而且 Spark 使用 SQL 组件的一些优化引擎对数据源的读取进行优化，比如列裁剪、过滤下推等等。 这个版本的 Data Source API 有以下几个优点： 接口实现非常简单 能够满足大部分的使用场景 同时存在一些问题： 扩展能力有限，难以下推其他算子 缺乏对列式存储读取的支持 写操作不支持事务 缺乏分区和排序信息 不支持流处理 Data Source API V2 Data Source API V2为了解决 Data Source V1 的一些问题，从 Apache Spark 2.3.0 版本开始，社区引入了 Data Source API V2，在保留原有的功能之外，还解决了 Data Source API V1 存在的一些问题，比如不再依赖上层 API，扩展能力增强。 这个版本的 Data Source API...

Spark SQL ​ Spark SQL是一个Spark模块用于结构化数据处理。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。 在内部，Spark SQL使用此额外信息来执行额外的优化。 有几种与Spark SQL交互的方法，包括SQL和Dataset API。 在使用相同的执行引擎计算结果时，与使用表达计算的API或者语言无关。 这种统一意味着开发人员可以轻松地在不同的API之间来回切换，从而提供表达给定转换的最自然的方式。 SparkSession Spark中所有功能的入口点是SparkSession类 12345678import org.apache.spark.sql.SparkSessionval spark = SparkSession .builder() .appName("Spark SQL basic example") //APP 运行时的名字 .config("spark.some.config.option",...

线性回归模型的推导 线性回归（Linear Regression）是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。 特点：只有一个自变量的情况称为单变量回归，大于一个自变量情况的叫做多元回归. 优点：结果具有很好的可解释性（w直观表达了各属性在预测中的重要性），计算熵不复杂。 缺点：对非线性数据拟合不好 适用数据类型：数值型和标称型数据 线性回归的模型： h(x)=θ1x1+θ2x2+θ3x3+θ4x4+...+θnxn+bh(x) = θ_{1}x_{1}+θ_{2}x_{2}+θ_{3}x_{3}+θ_{4}x_{4}+...+θ_{n}x_{n} + b h(x)=θ1​x1​+θ2​x2​+θ3​x3​+θ4​x4​+...+θn​xn​+b 那么我们可以通过向量的方式来表示就值θ与特征X值之间的关系： Θ=(θ1θn);X=(x1xn)\Theta =...

安全架构设计理论与实践 安全架构概述 ⭐⭐ {"content":"安全架构概述","children":[{"content":"网络与信息安全风险分类","children":[{"content":"","children":[{"content":"1....

安全架构设计理论与实践 安全架构概述...

软件架构设计 软件架构的概念⭐⭐⭐ ...

软件架构设计 软件架构的概念⭐⭐⭐ 软件架构的概念： 架构的本质 高级抽象：软件架构对软件系统的结构（组件组成）、行为（组件交互逻辑）、属性（系统特性，如性能、安全性）进行高层次抽象，忽略细节，聚焦整体框架。 惯用模式与约束：软件架构风格是特定领域中反复使用的成熟模式（如 MVC、微服务），同时通过定义 **“词汇表”（组件、交互等术语）和 “约束”（组件关系规则、设计原则）**规范系统构建。 架构的作用 交流媒介：为项目干系人（如开发人员、客户、管理者）提供统一沟通框架，确保对系统设计的理解一致。 可复用与质量预测：作为可传递、可复用的模型，通过分析架构能提前预判软件的质量（如可维护性、扩展性）。 简化迭代与支持培训：清晰的架构让系统修改、推理更简单，支持循序渐进的原型设计（分阶段实现架构），还能作为团队培训基础，帮助成员快速理解系统设计。 架构的所处位置 概念等同：明确 “软件架构 = 软件体系结构”，二者是同一概念的不同表述。 开发阶段关系： “需求分析 — 架构 — 软件设计” 的流程，其中 “架构” 处于 “业务”（需求分析）与 “技术”（软件设计）的...

数据库系统 数据库模式⭐ ...

数据库系统 数据库模式⭐ 三级模式结构与两级映射关系 三级模式 外模式 对应 “用户级数据库”，体现为用户视图。用户通过外模式（如应用程序或工具）访问数据库，仅看到所需数据部分，保障数据安全性与个性化需求。 概念模式 对应 “概念级数据库”，是 DBA（数据库管理员）视角的全局逻辑结构，描述数据库整体数据模型、数据关系与约束，不涉及物理存储细节，是数据库的核心逻辑层。 内模式 对应 “物理级数据库”，体现为内部视图，描述数据在物理存储介质（如磁盘）中的组织方式、存储结构（如文件、索引），与操作系统直接交互，关注数据物理存储优化。 两级映射 外模式 - 概念模式映射 建立外模式与概念模式的关联，定义用户视角数据与全局逻辑数据的转换关系。 当概念模式调整时，只需修改映射，不影响外模式，实现逻辑独立性。 概念模式 -...

知识产权与标准化 知识产权 ...