Entropy
連続状態の entropy は、
$f(x)$ を確率密度関数とすると、
次で定義される。
\begin{align}
H(f)=-\int f(x) \ln f(x) d x
\end{align}
次のような書き方もできる。
\begin{align}
& H(f) = -\int_{0}^{1} \ln \left\{\frac{\partial}{\partial p} F^{-1}(p)\right\} dp \\
\end{align}
ただし、
$F(x) = \int^{x} f(x) dx$、
$p = F(x)$,
$x = F^{-1}(p)$
とする。
導出
\begin{align}
& H(f) = -\int_{0}^{1} \ln \left\{\frac{d}{d p} F^{-1}(p)\right\} dp \\
& = -\int_{0}^{1} \ln \left\{\left(\left.\frac{d F(x)}{d x}\right|_{x=F^{-1}(p)}\right)^{-1} \right\} dp \\
& = \int_{0}^{1} \left(\left. \ln \frac{d F(x)}{dx} \right|_{x=F^{-1}(p)} \right) dp \\
& = \int \left( \ln \left.\frac{d F(x)}{d x}\right|_{x=F(p)} \right) \frac{d p}{d x} dx \\
& = -\int f(x) \ln f(x) d x
\end{align}
近似
\begin{align}
& H(f) = -\int_{0}^{1} \ln \left\{\frac{\partial}{\partial p} F^{-1}(p)\right\} dp \\
& \approx \frac{1}{n} \sum_{i=1}^{n} \ln \frac{y_{i+1}-y_{i}}{\frac{1}{n}} \\
& = \frac{1}{n} \sum_{i=1}^{n} \ln n\left(y_{i+1}-y_{i}\right) \\
& = \frac{1}{n} \sum_{i=1}^{n} \ln \left(y_{i+1}-y_{i}\right)+\frac{1}{n} \sum_{i=1}^{n} \ln n \\
& = \frac{1}{n} \sum_{i=1}^{n} \ln \left(y_{i+1}-y_{i}\right)+\ln n
\end{align}