right
PROGRAMME
您的位置:首页 > 下载 > 课件下载 >

点击返回首页

Skymind创始人:分布式深度学习综述(PPT全文下载

2017-12-03 信息来源:www.mrmhw.com 编辑:admin 阅读次数:

Adam Gibson 是美国计算机科学家,人工智能公司 Skymind、开源框架 Deeplearning4j 的联合创始人。Deeplearning4j(简称DL4J)是为 Java 和 Scala 编写的首个商业级开源分布式深度学习库。DL4J与 Hadoop 和 Spark 集成,为商业环境(而非研究工具目的)所设计。Skymind 是 DL4J 的商业支持机构。

分布式深度学习——综述

神经网络训练基础

向量化/不同类型数据

参数——一个完整的神经网络包括一张图和参数向量

Minibatchers——神经网络数据需要大量的 ram(随机访问内存)。需要做 minibatch 训练。

向量化
图像
文本
音频
视频
CSV 文件/有结构的
网站日志

参数神经网络结构

计算图——一个神经网络只是 ndarray/tensor 的一个 dag 图。

一个神经网络的参数可做成一张图中代表所有连接/权重的一个向量。

Minibatches

数据被区分入子样本

适合于 GPU

训练更快速

应该是尽可能均匀的代表性样本(每一个标签)

分布式训练

多台计算机

多重 GPUs

多重 GPUs 和多台计算机

不同类型的并行训练

多种不同的算法

多台计算机

分布式系统——在集群上连接/协调计算机

Hadoop

HPC(MPI 和同类)

Client/server 体系架构

多重 GPUs

单个 box

可能是多个主线程

RDMA 互相连接

NVLink 技术

典型应用于一个数据中心架

将问题打碎

在 GPUs 间共享数据

多重 GPUs 和多台计算机

在集群上协调问题

使用 GPUs 做计算

可通过 MPI 或者 hadoop 完成(主线程协调)

参数服务器——在主服务器上同步参数,和处理 GPU 互相连接事件一样。


上一篇:安全教育PPT课件 下一篇:如何下载世界500强的PPT模板

 关于我们 | 网站地图 | 版权申明 | 隐私保护 | 货到付款 | 招聘信息 | 联系我们 | 广告服务 | 疑难解答 | 帮助中心 

在线QQ:1012189958  网站备案:粤ICP备091426159号

版权所有:美容门户网 Copyright © 2007-2015 提醒您谨防假冒与抄袭