使用集群运行你的python代码

集群中有四台主机，master（无宏唯早GPU），node01,node02,node03(GPU主机)，直接运行 python main.py 程序将在CPU中运行。

如下步骤可以运行你的程序：

在你的文件目录下新建一个 lsf.sh 文件，正文写入：

其中 python main.py 是你运行程序的命令，然后蔽雀:

source activate 你的conda环境

开启环境，用

bsub <lsf.sh 向集群提交运算任务。

即可运行程序，终端会给你一个任务序号，输出文件就是 序号.out 和 序号.err 。

** 其他命令：**

bjobs -W 查看你的任务山汪运行状况

bhosts -gpu 查看集群GPU使用情况。

国内的程序员很多都奉行拿来主义，心里其实很反感。

所以先来旦悄棚闲扯几句。前段时间在同事的帮助下安装了ubuntu来开发Python。没几天，被同事玩坏了，网连不上系统一直出错。于是自己又模则来装一次。然后运汪倍觉苦逼，特写此文用以祭奠。

搭建 Python 环境在 Hadoop 上的步骤如下：

安装 Hadoop：在你的计算机上安装 Hadoop。

安装 Python：请确保你的计孙拿算机上已经安装了 Python。

配置 Hadoop 环境：编辑 Hadoop 的配置文件，以确保 Hadoop 可以与 Python 配合使用。

安装相关模块：请安装所需的 Python 模块，以便在 Hadoop 环境下使用 Python。

测试灶行 Python 安装：请运行一些测试脚本，以确保 Python 可以在 Hadoop 环境下正常工作。

这些步骤可以帮助你在 Hadoop 环境下搭建 Python。请注意，具体的步骤可能因 Hadoop 的版本和环境而异，请仔细查则辩搭看相关文档。

---