Workspace of LionHeart

Focus on Spark/TensorFlow and other BigData and ML platforms

Tensorflow基础环境安装

本文介绍如何搭建tensorflow的基础运行环境,包括Cuda、Cudnn与tensorflow gpu版本的安装。

Tensorflow架构介绍

Tensorflow的架构为大规模分布式训练和预测设计,单页为实验新的机器学习模型和进行系统层面上的优化提供了足够多的灵活性。

本文介绍Tensorflow的系统架构设计,展示Tensorflow如何将灵活性与扩展性结合。

本文内容主要从Tensorflow官方文档中翻译整理而得。

阅读本文之前需要了解Tenflow变成中像计算流图、算子和session的概念。如果不了解可以参考如下文档:

Docker资源隔离和限制实现原理

本文介绍Docker底层资源隔离和限制的相关知识。Docker本质上是宿主机(Linux)上的进程,通过namespace实现资源隔离,通过cgroups实现资源限制,通过写时复用机制(copy-on-write)实现高效的文件操作。

Spark Shuffle工作原理详解

Spark中,数据通过从一个state流向下一个 stage 是通过shuffle过程完成的。

本文介绍Spark中的shuffle过程设计和工作原理。