背景介绍 YOLOv1是Joseph Redmon于2015年提出的目标检测检测算法，YOLO系列（2023/09/20已经出到第8个版本）的特点在于其极高的识别速度，经典目标识别网络还有R-CNN和SSD，这些算法具有较高的准确率但是速度比YOLO慢至少一倍。 值得注意的是，作者Joseph Redmon在发布YOLOv3之后就退出CV界了，原因在于YOLO算法被用于商业中隐私窃取和军事武器当

概述 SAC算法可以简单理解为一种将Q-Learning用于策略 πθ(a∣s)\pi_{\theta}(a|s)πθ​(a∣s) 估计的算法，由于使用了策略网络，所以可以用于解决连续问题，与梯度策略定理(A2C)或策略迭代定理(TRPO,PPO)不同，SAC策略网路的更新目标浅显易赅，就是要近似 Qπ∗(s,⋅)Q_{\pi^*}(s,\cdot)Qπ∗​(s,⋅) 对应的 softmax 分

Jax, Flax, Optax 中的常用API 下述代码测试环境CPU: R7-4800U，无GPU Jax jax.jit jax.jit(func, static_argnums=None, static_argnames=None) -> jit_func 用于对入参数类型为矩阵的纯函数 func 进行编译返回包装后的函数 jit_func，其中 static_argnum

As accelerated Numpy 首先Jax有类似 numpy 的函数库，API使用基本一致： import jax.numpy as jnp x = jnp.aranga(int(1e8)) %timeit jnp.dot(x, x) # 比 np.dot() 要快, gpu上更快 First Transformation grad 和数学中求导一致，Jax可以自动对Python中

参考文献：(1). Proximal Policy Optimization Algorithms - OpenAI, (2). Trust Region Policy Optimization - Berkeley，(3). Generalized Advantage Estimation - Berkeley 理论推导 基础定义 与概率论中记法一致，用大写字母表示随机变量，小写字母表

A2C (Advantage Actor-Critic) Algorithm 算法 设 π(a∣s;θ)\pi(a|s;\theta)π(a∣s;θ) 为当前智能体策略网络，其中 θ\thetaθ 为网络参数，Vπ(S)V_\pi(S)Vπ​(S) 为状态价值函数，最优化目标 max⁡θES[Vπ(S)]=:J(θ)\max_\theta\mathbb{E}_S[V_{\pi}(S)] =:

DQN (Deep Q-Network) Algorithm 算法 DQN is based on Q-Learning, it changes the estimate of the Q function from “grid search” to “network search”. It’s an off-policy algorithm, which allow us to store

tf.function 参考： YouTube - tf.function and Autograph (TF Dev Summit ‘19) tensorflow.org - tf.function CSDN【Tensorflow教程笔记】常用模块 tf.function ：图执行模式 import tensorflow as tf tf.function修饰的函数会将其中

学习视频：YouTube - Inside TensorFlow: tf.Keras (Part 1)，YouTube - Inside TensorFlow: tf.Keras (Part 1)，这两个视频中介绍了Keras的基本实现原理和每个类的自定义方法。 头文件： import tensorflow as tf import tensorflow.experimental.numpy as

几何相关算法 向量命名空间 用pt命令空间内的Point类，实现基本的向量加减乘除运算，大小比较<以及相等==判断，内积dot和外积cross，向量长度length，向量夹角angle，向量旋转rotate，以及一些求交点，判断是否正规相交，判断是否点在线段上，计算点到直线、线段距离的函数。 #include <cmath> #include <string> #includ