Spark学习(四)——Spark SQL

在知乎看到文章说,学习spark分为两个方向,一个是数据平台开发,一个是数据处理开发,如果用spark的话做数据处理,日常用得最多的就是sparkSQL,需要懂得什么是数据倾斜,原理,如何解决,还有s...
头像1周前
010

防抖debounce和节流throttle区别及手写实现

防抖和节流 节流 函数在一段时间内的多次调用,只有第一次的调用生效。 防抖 函数在一段时间内的多次调用,仅使得最后一次调用有效。 节流和防抖都是用来控制某些函数的调用频率。 例如,在窗口resize的...
头像1周前
010

Transformal的value,key,query理解

在Transformer的自注意力机制中,每个词token都会被映射成一个查询向量(query vector)、一个键向量(key vector)和一个值向量(value vector)。 这三个向量...
头像1周前
010

Linux 安全审计工具 Auditd

主要根据定义的规则来监控、判断和记录系统活动,包括:auditd :审计守护进程,负责收集和存储审计日志。auditctl:规则控制工具,用于配置审计规则。ausearch : 审计日志查询工具,支持...
头像1周前
010

Linux系统LVM逻辑磁盘扩容实践(六)

摘要:Linux系统磁盘扩容有多种办法,本文介绍的是创建LVM逻辑磁盘实现扩容。涉及的内容有物理卷(PV)、卷组(VG)、逻辑卷(LV)等,详情请参考下文。一、登陆Linux系统1、登陆系统2、查看磁...
头像2周前
110

K8s崩了也不怕:用Velero快速恢复环境

集群在新环境里被完整拉起来,所有服务陆续恢复,对外接口能正常访问,数据库数据也回来了。下面把这套从备份到恢复的实操流程把来龙去脉讲清楚,都是能在真机上跑通的步骤,不是纸上谈兵。先说最直接的“把旧集群掏...
头像2周前
010
1 5 6 7 8 9 289