11. MPI# 本章介绍经典并行计算工具MPI,重点介绍MPI的点对点通信和集合通信。 11.1. MPI 简介 历史 标准与实现 高速网络 安装 11.2. MPI Hello World 通信模式 World 和 Rank 案例:Hello World Communicator 11.3. 点对点通信 发送与接收 案例1:发送 Python 对象 案例2:发送 NumPy ndarray 案例3:Master-Worker 案例 4:长方形模拟求 \(\pi\) 值 阻塞 v.s. 非阻塞 阻塞 非阻塞 11.4. 集合通信 同步 数据移动 广播 案例:广播 Scatter 和 Gather 案例:Scatter Allgather 和 Alltoall 集合计算 11.5. 远程内存访问 Window 创建 Window 读写操作 数据同步 案例:远程读写