Workspace of LionHeart

Focus on Spark/TensorFlow and other BigData and ML platforms

使用Fuse挂载HDFS到本地目录方法

网上关于挂载HDFS到本地的介绍大多基于较早版本的Hadoop。 本文以Hadoop-2.8.0为例,介绍通过Fuse挂载HDFS到本地的方法。

Linux NFS配置及使用方法

NFS是Network File System(网络文件系统)。主要功能是通过网络让不同的服务器之间可以共享文件或者目录。

本文以CentOS系统为例介绍Linux下NFS的配置和使用方法。

NFS在文件传送过程中依赖与RPC(远程过程调用)协议,配置步骤介绍如下。

Mac安装Thrift方法

新版mac使用brew默认安装的是最新版本的thrift 0.10.1

但现有项目主要依赖0.9.x,因此需要在mac上手动安装thrift。

本文介绍如何在新版本Mac上安装thrift 0.9.3.

ZooKeeper安装使用指南

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。

作为分布式应用提供一致性服务的软件,ZooKeeper 封装了易错的关键服务,提供简单高效、功能稳定接口给用户

本文介绍 ZooKeeper 的配置方法和客户端使用方法。

Spark Core 消息队列机制

本文介绍Spark中的消息队列机制,首先SparkListenerEvent,SparkListener和SparkListenerBus等基本数据结构实现。

重点介绍了异步消息总线LiveListenerBus的实现。随后介绍了Spark消息队列的整体工作流程。

Spark日志配置方法

本文介绍Spark日志级别控制方法。

Apache Spark 默认使用 log4j 作为日志工具。 Baidu Spark 根据不同的发布版本,使用 log4j 或者 logback 作为日志工具。