浪浪山下那个村 👋🏼

简介 Yarn采用了基于事件驱动的并发模型： 所有状态机都实现了EventHandler接口，很多服务（类名通常带有Service后缀）也实现了该接口，它们都是事件处理器。 需要异步处理的事件由中央异步调度器（类名通常带有Dispatcher后缀）统一接收/派发，需要同步处理的事件直接交给相应的事件处理器。 某些事件处理器不仅处理事件，也会向中央异步调度器发送事件。 事件处理器定义 事件处理器定义如下： @SuppressWarnings("rawtypes") @Public @Evolving public interface EventHandler<T extends Event> { void handle(T event); } 只有一个handler函数，如参是事件： 中央处理器AsyncDispatcher AsyncDispatcher 实现了接口Dispatcher，Dispatcher中定义了事件Dispatcher的接口。主要提供两个功能： 注册不同类型的事件，主要包含事件类型和事件处理器。 获取事件处理器，用来派发事件，等待异步执行真正的....

NameNode客户端协议详解 协议的定义主要在类NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, DatanodeLifelineProtocol, NamenodeProtocol, RefreshAuthorizationPolicyProtocol, ReconfigurationProtocol, RefreshUserMappingsProtocol, RefreshCallQueueProtocol, GenericRefreshProtocol, GetUserMappingsProtocol, HAServiceProtocol { } 根据交互对象的不同，将协议进行了不同的归类。要想了解协议内容，需要将其单独分开分析。 NamenodeProtocol 详解 BlocksWithLocations getBlocks(DatanodeInfo datanode, long size, long minBlockSiz....

Kerberos认证在大数据场景下用的比较多，特别是在Hadoop生态下，认证基本用的都是Kerberos认证。一般来讲Kerberos认证相对于其他方式的认证安全很多，同样的认证的时候性能应该差一点。 国内某著名大数据平台MapReduce服务，页叫做云原生数据湖MRS（MapReduce Service），将大数据相关的软件做了整合，其中有部分软件，比如：Redis、Clickhouse等开源社区并没有支持Kerberos认证的软件，华为自己做了Kerberos认证。 本文简单介绍怎快快速搭建Kerberos认证，做一些简单的测试。后续课程会说明如何使用代码进行Kerberos认证。

RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构，支持高吞吐量的写入和快速的范围查询，可被嵌入到应用程序中，实现持久化存储，支持水平扩展，可以在多台服务器上部署，实现集群化存储，具有高度的可靠性和稳定性，易于使用并可以根据需求进行定制和优化。RocksDB主要使用到了下面知识：

状态后端和checkpoint详解，包括常见checkpoint问题处理。

在我的Linux笔记本上面运行一个jar包的时候报错如下： Exception in thread "main" java.lang.UnsatisfiedLinkError: Can't load library: /usr/lib/jvm/java-17-openjdk-amd64/lib/libawt_xawt.so at java.base/java.lang.ClassLoader.loadLibrary(ClassLoader.java:2393) at java.base/java.lang.Runtime.load0(Runtime.java:755) at java.base/java.lang.System.load(System.java:1953) at java.base/jdk.internal.loader.NativeLibraries.load(Native Method) at java.base/jdk.internal.loader.NativeLibraries$NativeLibraryImpl.open(NativeLibraries.ja....

Flink 为作业的容错提供 Checkpoint 和 Savepoint 两种机制。保存点机制（Savepoints）是检查点机制一种特殊的实现，它允许你通过手工方式来触发Checkpoint，并将结果持久化存储到指定路径中，主要用于避免Flink集群在重启或升级时导致状态丢失。

Dropout是用于防止过拟合和提供一种有效近似联结指数级不同神经网络结构的方法,能够有效的缓解深度网络的过拟合现象.

Auto-Encoding Variational Bayes论文笔记

VARIATIONAL RECURRENT AUTO-ENCODERS 笔记