用来创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。
Ambari 自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 Ambari Agent。简单来说，用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件；Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server，最终这些状态信息会呈现在 Ambari 的 GUI，方便用户了解到集群的各种状态，并进行相应的维护。
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
1 | $ hexo new "My New Post" |
More info: Writing
1 | $ hexo server |
More info: Server
1 | $ hexo generate |
More info: Generating
1 | $ hexo deploy |
More info: Deployment
#机器学习17--增强学习——拟合的值迭代法（fitted value iterator） 本章不是很理解，只是把笔记摘录了一些。 首先讲到了离散化。 ## Learn a Model 1. 对于如下序列 
我们定义Model或者Simulator为： \[S_{t+1}=AS_t+Ba_t\] 2. 然后，我们通过最小化下面的误差就可以得到参数： 
通过随机采样，求取平均值，来模拟当前状态s的值函数；然后，最小化误差函数，来估计参数。 1. 取样 取样{\(s^{1},...,s^{m}\)} 包含于\(S\) randomly 2. 初始化 初始化θ:=0 3. 重复迭代 
> 大致思路：公有m个状态。通过随机采样k个状态s，求平均值获得\(q(a)\)；通过不同的行为获得\(y^{(i)}\)，求得值函数的最大值；对每一个状态，通过最小化误差函数求取参数θ。
模型确定，即我们知道了\(S_{t+1}=AS_t+Ba_t\)，或者\(S_{t+1}=f(s ~ a)\)；从而可以确定下一个状态。我们只需要对每一个状态，通过最小化误差函数求取参数θ。对于上面的步骤，设\(k=1\)。
采用如下方式： 
> 其中，${}_{t} $为误差，服从高斯分布。
#NG老师的详细过程 
#机器学习16--增强学习——有限状态的马尔科夫决策过程MDP 16-20讲均为增强学习相关知识。暂时，只对16、17进行总结。 增强学习：找到一条回报值最大的路径（每步的回报之和最大），就认为是最佳的路径。eg：四足机器人、象棋 AI 程序、机器人控制，手机网络路由，市场决策，工业控制，高效网页索引等。
###基本概念 1. 一个马尔科夫决策过程由一个五元组构成
2. 概念： - 值函数： 为了区分不同π的好坏，并定义在当前状态下，执行某个策略π后，出现的结果的好坏， 需要定义值函数： 
- 策略(pllicy)： 
###公式推导（最优值函数和最优策略） 3. 对于如下问题，Robot开始位于(3,1)位置。目的是右上角。可能有11个状态。 
> - 行走的概率： 
> - 回报函数 
> - 在某一点时的值函数。对于上述问题，有11个方程，11个未知量。 
4. 进一步化简，我们得到 
Bellman 等式 
其中，
表示下一个状态。 5. 定义最优值函数：\(V^{\star}\)。从而，找到一个当前状态 s 下，最优的行动策略π。 
6. 最终，我们得到想要的最优值函数和最优策略： 
7. 这里需要注意的是，如果我们能够求得每个 s 下最优的 a，那么从全局来看，
的 映射即可生成，而生成的这个映射是最优映射，称为
。
针对全局的 s，确定了每一个 s的下一个行动 a，不会因为初始状态 s 选取的不同而不同。
前提：状态有限
### 值迭代法 1. 过程 
其中，迭代公式也可以写作：
2. 内循环的有两种策略： 
3. 两种迭代法最终收敛到\(V^{\star}\)。我们再用如下公式，求出最优策略\(\pi^{\star}\)
> 注：在1-(a)中，我们认为得到的V为最优值函数。然后，在(b)中，进行更新得到最优策略。一直重复，知道得到真正的最优策略\(\pi^{\star}\)。
(b)步实际上就是根据(a)步的结果挑选出当前状态 s 下，最优的 a，然后对π(s)做更新。 > 这里的两个步骤，相当于求解11(状态个数)个线性方程。如果状态非常多，显然计算量相当大。规模比较小的 MDP： 策略一般能够更快地收敛。 规模很大（状态很多）MDP：值迭代比较容易（不用求线性方程组）。
实际中： > - 未知量：状态转移概率\(P_{sa}\)𣠠和回报函数 R(s) - 已知量： S、 A 和γ
下面我们对状态转移概率\(P_{sa}\)和回报函数 R(s)进行估计： 1. 假设我们已知很多条状态转移路径如下：（相当于样本） 
> 其中：
2. 如果我们获得了很多上面类似的转移链（相当于有了样本），那么我们就可以使用最大似然估计来估计状态转移概率。 
> 注：分子是从 s 状态执行动作 a 后到达 s’的次数，分母是在状态 s 时，执行 a 的次数。两者相除就是在 s 状态下执行 a 后，会转移到 s’的概率。 3. 同样，如果回报函数未知，那么我们认为 R(s)为在 s 状态下已经观测到的回报均值。 4. 我们将参数估计和值迭代结合起来（在不知道状态转移概率情况下）的流程如下： 
> 在(b)步中我们要做值更新，也是一个循环迭代的过程，在上节中，我们通过将 V 初始化为 0，然后进行迭代来求解 V。嵌套到上面的过程后，如果每次初始化 V 为 0，然后迭代更新， 就会很慢。一个加快速度的方法是每次将 V 初始化为上一次大循环中得到的 V。 也就是说 V 的初值衔接了上次的结果。
最后把两张NG老师画的图放过来 
#机器学习15-3--独立成分分析ICA（Independent Component Analysis）
鸡尾酒宴会问题 - n个人，n个麦克风。从n个麦克风得到一组数据：
。其中：i 表示采样的时间顺序，也就是说共得到了 m 组采样，每一组采样都是 n 维的。 - 我们的目标是单单从这 m 组采样数据中分辨出每个人说话的信号s。有 n 个信号源 
，s相互独立。 - A 是一个未知的混合矩阵（mixing matrix），用来组合叠加信号 s。 1. 我们可以得到： 
> 其中， x 不是一个向量，是一个矩阵 2. 其中每个列向量 
3. A 和 s 都是未知的，x 是已知的，我们要想办法根据 x 来推出 s。这个过程也称作为盲信号分离。 
4. 最终得到： 
> - \(s_{(i)}^{j}\)：表示speaker j 在时刻i发出的信号。 > - 对于此，我们需要知道两个量才能求出另外一个，下面我们进一步分析。
(其协方差矩阵是\(I\))。 
> - 其中， 
> - 其中使用特征值分解来得到 E（特征向量矩阵）和 D（特征值对角矩阵） ，计算公式为 
> 注：每个人发出的声音信号s各自独立。
这就是 s 的密度函数。这里 s 是实数。然后，我们就剩下W了。我们用最大似然估计的方法求解。 使用前面得到的 x 的概率密度函数，得 
> 
最终，我们求得： 
>> 其中α是梯度上升速率，人为指定。
迭代求出 W 后，我们也可以还原出原始信号： 
如果把麦克风x换成采集脑电波的电极，信号源s就代表大脑独立进程：心跳、眨眼等。通过将信号x减去心跳、眨眼等无用信号，我们就可以得到大脑内部信号。
###小结 - ICA 的盲信号分析领域的一个强有力方法，也是求非高斯分布数据隐含因子的方法。 - ICA和PCA对比： > - ICA: 从之前我们熟悉的样本-特征角度看，我们使用 ICA 的前提条件是，认为样本数据由独立非高斯分布的隐含因子产生，隐含因子个数等于特征数。更适合用来还原信号（因为信号比较有规律，经常不是高斯分布的）。 > - PCA : 认为特征是由 k 个正交的特征（也可看作是隐含因子）生成的。更适合用来降维（用那么多特征干嘛，k 个正交的即可） > - 有时候也需要组合两者一起使用。