摘要: 本篇文?#36718;?#35201;剖析Spark的内存管理体系。 在上篇文章 spark 源码分析之十四 -- broadcast 是如何实现的?中?#28304;?#20648;相关的内容没有做过多的剖析,下面计划先剖析Spark的内存机制,进而进入内存存储,最后再剖析磁盘存储。本篇文?#36718;?#35201;剖析内存管理机制。 整体介绍 Spark内存管理相关类阅读全文
posted @ 2019-07-17 19:57 轮子妈 阅读(54) 评论(0) 编辑
摘要: 本篇文?#36718;?#35201;剖析broadcast 的实现机制。 BroadcastManager初始化 BroadcastManager初始化方法源码如下: TorrentBroadcastFactory的继承关?#31561;?#19979;: BroadcastFactory An interface for all the broa阅读全文
posted @ 2019-07-16 09:05 轮子妈 阅读(98) 评论(0) 编辑
摘要: 对SerializerManager的说明: 它是为各种Spark组件配置序列化,压缩和加密的组件,包括自动选择用于shuffle的Serializer。spark中的数据在network IO 或 local disk IO传输过程中。都需要序列化。其默认的 Serializer 是 org.ap阅读全文
posted @ 2019-07-15 20:03 轮子妈 阅读(109) 评论(2) 编辑
摘要: 工作中一直在用Oracle 的中间件Oracle GondenGate 是如何保证消息的有序和不丢失呢? Oracle GoldenGate逻辑架构 首先,先看一下Oracle GoldenGate 的逻辑架构: 图中涉及到两个阶段: 官方关于 trail文件的说明如下: To support th阅读全文
posted @ 2019-07-11 23:11 轮子妈 阅读(119) 评论(0) 编辑
摘要: 在spark 源码分析之五 -- Spark内置RPC机制剖析之一创建NettyRpcEnv中,剖析了NettyRpcEnv的创建过程。 Dispatcher、NettyStreamManager、TransportContext、TransportClientFactory、TransportSe阅读全文
posted @ 2019-07-09 21:07 轮子妈 阅读(32) 评论(0) 编辑
摘要: TransportClient类说明 先来看,官方文档给出的说明: Client for fetching consecutive chunks of a pre-negotiated stream. This API is intended to allow efficient transfer 阅读全文
posted @ 2019-07-08 23:46 轮子妈 阅读(29) 评论(0) 编辑
摘要: StreamManager StreamManager类说明 StreamManager 官方说明如下: The StreamManager is used to fetch individual chunks from a stream. This is used in TransportRequ阅读全文
posted @ 2019-07-08 23:45 轮子妈 阅读(20) 评论(0) 编辑
摘要: TransportResponseHandler分析 先来看类说明: Handler that processes server responses, in response to requests issued from a [[TransportClient]]. It works by tra阅读全文
posted @ 2019-07-08 23:45 轮子妈 阅读(29) 评论(0) 编辑
摘要: TransportContext 首先官方文档对TransportContext的说明如下: Contains the context to create a TransportServer, TransportClientFactory, and to setup Netty Channel pi阅读全文
posted @ 2019-07-05 00:11 轮子妈 阅读(22) 评论(0) 编辑
摘要: RpcEndpoint 文档对RpcEndpoint的解释:An end point for the RPC that defines what functions to trigger given a message. It is guaranteed that onStart, receive 阅读全文
posted @ 2019-07-05 00:10 轮子妈 阅读(29) 评论(0) 编辑
耐克篮球多少钱
足彩胜负彩开奖信息 铁算盘六合彩论坛香港六合彩 3d今天是组三吗 辽宁35选7开奖信息 高频彩假吗 海南4+1论坛 昨天晚上双色球号码 竞彩足球比分切换到旧版 河南快三实时结果 彩经网蓝球杀号 任选9场18134期 广东彩票兑奖时间 北京pk10历史长龙统计 东方6十1是最新开奖 云南彩票中奖情况