7-4
随着OSH考试的结束,vega项目在小步快跑总基调上继续提速。从下午三点到晚上十点二十,vega项目多点发力、全速推进。
我们在虚拟机扩容的基础上安装了Spark,以进行更全面的测试。同时,安装了PySpark和perf工具,目前正在进行测试样例的编写和调试。 hdrs的测试基本完成,正在适配多机部署运行。 条件编译的使用使得vega的hdrs在toml中注释掉以后可以忽略掉hdfs_file_reader内的各种函数,保证了在新功能开发的同时,原本项目总体还能正常编译运行。
我们还查找对rust应用进行性能监控的prometheus和grafana示例,尝试阅读相关代码和docker等配置文件。
散布在整个项目的shuffle部分代码逻辑也已经理清,并编写了文档详细说明。
基本完成了hdfs_file_reader的编写,多机模式下运行时存在无环境变量的错误。
容错方面仍在持续探索问题所在。