去年DeepMind Max Jaderberg 提出的Population-based training 的应用

极大提高了训练效率

，并且提供了多样化的exploration，帮助模型在不同地形队友环境中的适应性，实验结果显示比self-play的结果更好更高效。

For The Win agent 的

分层reward机制

来解决credit assignment问题。

用fast and slow RNN 和

内存机制

达到类似Hierarchical RL的作用。