Rainbow: Combining Improvements in Deep Reinforcement Learning

A little logger for machine learning research

Spaces types for reinforcement learning

设计了一种带有经验池回放机制的reinforce算法（reinforce with experience buffer），算法的主题部分使用多环境并行化的reinforce算法，并使用经验池回放机制来进一步改进算法。仿真环境使用gym的cartpole。

强化学习中的策略网络算法。《TensorFlow实战》一书中强化学习部分的策略网络算法，仿真环境为gym的CartPole，本项目是对原书代码进行了部分重构，是在以前的版本CartPole_PolicyNetwork项目基础上的改进版本，主要加入了更新网络策略时不同的奖励值设定来观察不同形式下的性能区别。

结合了前面几个版本的并行化强化学习的设计，给出了最终版本。gym下简单的CarlPole环境作为仿真环境，以reinforce算法作为实例算法，讨论了强化学习在多仿真环境下并行化设计的可行性，并给出了几种个人设计的架构，同时对各架构的性能进行了一定的分析。

gym下简单的CarlPole环境作为仿真环境，以reinforce算法作为实例算法，讨论了强化学习在多仿真环境下多步交互并行化设计的可行性，并给出了几种个人设计的架构，同时对各架构的性能进行了一定的分析。

tensorflow官方给出的对图像（image）进行预处理（preprocessing）的模块，一般在进行神经网络训练之前可以选择对投给网络的图像数据进行预处理操作

强化学习中经典的棋牌类双方博弈问题--------三连棋（黑白棋）问题

《深度强化学习——边做边学》第二章 在走迷宫任务中随机探索 （修改后的代码）

Reinforcement Learning经典论文《IMPALA: Scalable Distributed Deep-RL with Importance WeightedActor-Learner Architectures》的Deepmind官方实现，TensorFlow框架的。

tensorflow官方给出的reinforcement learning框架，该框架设计过于复杂现已停止维护，但是由于其作为Google官方推出的强化学习框架还是有一定学习价值的，原地址：https://github.com/tensorflow/agents

Google公司为reinforcement learning算法推出的分布式经验池框架，底层实现为Google的 Protocol Buffer以及gRpc。由于该框架主要为Google的TensorFlow框架以及Google推出的其它各种reinforcement learning框架服务，因此该框架相关文档较少，可用性较差。

最经典的Reinforcement Learning框架之一，现在已经不再维护，对于一些经典算法的实现还是可以参考这个框架的。rllab的衍生版本garage框架由其他组织进行维护。本项目经过配置已可以正常运行。

论文“ES-MAML: Simple Hessian-Free Meta Learning”的官方原作者代码； 论文地址：https://arxiv.org/abs/1910.01215 代码原地址：https://github.com/google-research/google-research