前言
最近刚刚接触了联邦学习,准备搭建一个联邦学习的案例,但是遇到了很多问题,因此写这篇文章记录一下,希望能帮助到更多的人。
最开始的时候尝试的是Ubuntu,但是错误很多就选择了centos7
目录
前言
一、使用环境
1.1 安装VMware Workstation 16 Player
1.2 下载CentOS7
1.3 创建虚拟机
二、安装FATE
2.1 检查端口
2.2 下载FATE安装包
三、测试
3.1 启动fate flow
3.2 配置环境变量
3.3 单元测试
3.4 toy测试
3.5 安装fate-client和fate-test
四、案例实战
4.1 上传数据
4.2 训练模型
总结
一、使用环境
VMware Workstation 16 Player +CentOS7
1.1 安装VMware Workstation 16 Player
官网下载链接
点击上方链接进行下载。选择windows版本点击立即下载。
由于笔者已经下载了VMware16 接下来就是正常的下载步骤,在许可证的那里不用填写,因为不用做商业用途,可以免费使用。
1.2 下载CentOS7
打开centos7官网,下载x86_64版本,开源免费。centos官网
下载ISO版本。
1.3 创建虚拟机
打开VMware16,创建虚拟机
注意版本要选择CentOS 7 64位
为你的虚拟机起一个名字,并选择位置。
这里建议磁盘大小大一点,否则稍后安装FATE的时候会导致内存不足。
我把硬盘和内存都弄得大了一些。
使用ISO影像文件->浏览->选择刚才下载centos7映像文件
点击播放虚拟机。
直接回车,安装centos7
等待安装……
成功安装后把语言设置为简体中文。
选择[软件选择]-带GUI的服务器-完成。
选择[安装位置]-我要配置分区。
点击+进行分区,设置完/boot和swap后,剩余内存都会给到根目录。
容量这里根据自己的需求设置。
swap和/如boot同理。
点击完成后会弹出更改摘要,选择[接受更改]即可。
选择[网络和主机名],打开网络连接并给主机命名。
上述操作结束后,点击开始安装。
在安装过程中,设置[root密码],这里最开始忘记截图了正常应该是未设置密码。
点击完成。
继续等待安装……
此时还没接受许可证,点击[许可证信息]--[我同意许可协议]-[完成]-[完成配置]
进下来按照提示,逐步完成操作。
在centos7桌面点击鼠标右键打开终端进入超级用户
su root
如果提示鉴定故障,则说明没有设置密码。输入如下代码设置密码。
sudo passwd root
输入su root,进入超级用户。
二、安装FATE
2.1 检查端口
以下3个端口在安装时都有用处,如果端口被占用则关闭相应程序。
正常依次输完3段代码不会有任何提示则说明端口没有被占用。
代码如下(示例):
netstat -apln|grep 8080;netstat -apln|grep 9360;netstat -apln|grep 9380
2.2 下载FATE安装包
代码如下(示例):
wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/standalone_fate_master_1.6.0.tar.gz
为了加快下载速度使用了清华源。
下载后进行解压。
tar -xzvf standalone_fate_master_1.6.0.tar.gz
在经过一长串的解压后就完成了,可以看到主文件夹下多了一个解压后的fate文件夹。
进入fate1.6.0目录,执行init.sh.
cd standalone_fate_master_1.6.0
sh init.sh init
可以看到fate flow使用了9380和9360端口。
这个时候输入localhost:8080即可进入fateboard。
三、测试
tips:接下来的所有操作都是在standalone_fate_master_1.6.0的终端下进行的。
3.1 启动fate flow
代码如下:
bash init.sh statusbash init.sh start
显示服务器已经启动。
3.2 配置环境变量
输入如下代码时,自动配置相关环境变量。
source bin/init_env.sh
运行成功后会进入(venv)。
3.3 单元测试
输入如下代码:
bash ./python/federatedml/test/run_test.sh
结果显示there are 0 failed test,则测试成功。
3.4 toy测试
输入如下代码:
python ./examples/toy_example/run_toy_example.py 10000 10000 0
结果显示success to calculate secure_sum, it is 2000.0或者和提示差不多,则测试成功。
这里我的显示结果是1999.n个9,类似结果就说明成功。
3.5 安装fate-client和fate-test
方便进行交互和测试。
如果报错可以尝试 -i https://pypi.tuna.tsinghua.edu.cn/simple/ 安装。
python -m pip install fate-clientpython -m pip install fate-test
四、案例实战
使用的是fate自带的横向逻辑回归数据。
4.1 上传数据
代码如下:
python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_host.json; python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_guest.json ; python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_test.json
打开fateboard界面,显示数据已经上传成功。
如果想重新上传数据的话,需要在json文件后加“drop=1”,因为原则上不可以重复上传。
代码如下所示:
python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_host.json drop=1python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_guest.json drop=1 python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_test.json drop=1
4.2 训练模型
上传配置文件并训练。
代码如下:
python ./python/fate_flow/fate_flow_client.py -f submit_job -c ./examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_conf.json -d ./examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_dsl.json
训练成功。
这时候再看fateboard的running部分,就会发现刚才上传的且正在训练的数据。
回到job查看训练结果,点击job的id。
点击每个模块的view the outputs可查看结果。
总结
刚开始接触联邦学习希望这篇文章能对大家有帮助。最开始也是按照其他的博主的方法去操作,遇到了一些问题。最后把自己的经验操作整合了一下,写完了这篇文章。
参考文章:
Fate单机部署(主机版本)_一览天下945的博客-CSDN博客_fate单机部署
【联邦学习FATE框架实战】(一)FATE1.6单机部署教程_HarrisonWu42的博客-CSDN博客_fate框架