1。电脑中存有病毒（打开腾讯电脑管家一杀毒一扫描查杀）如果杀到木马或病毒后，应立即重启， 重启电脑后，来到“隔离|恢复”，彻底删除，木马和病毒！
2。电脑系统有顽固的病毒和木马或蠕虫干扰，或者丢失了系统文件（腾讯电脑管家的木马查杀，打开腾讯电脑管家一杀毒一扫描查杀）
3。电脑中下载的软件有冲突，不兼容，（腾讯电脑管家，软件卸载，找到卸载，再：强力清扫）！比如：播放器重复或有相似的，杀毒，浏览器，游戏，输入法有同类多余的，卸载多余的，只留一款！
4。软件需要更新，（腾讯电脑管家，软件升级，下载，覆盖安装，winrar可以不升）
5。系统有新的漏洞等待安装，（打开腾讯电脑管家一漏洞修复一扫描修复）
6。显卡或内存cpu，或风扇的接触不良和松动或有灰尘覆盖，（拔下橡皮擦擦）
7。内存cpu过热，散热性不好！（开机时间不要太长，关机散热）
8。电脑存在恶评插件! (扫描出来，立即清理)或磁盘碎片过多，（使用腾讯电脑管家），清理碎片！
9。如果还是不行，说明系统文件丢失了！或者系统内存有很严重的错误了！
10。试试开机后按F8，回车，回车，进安全模式里，最后一次正确配置，按下去试试！或者，进安全模式，到桌面后，打开腾讯电脑管家，全盘杀毒！
11。玩游戏蓝屏，一般就是系统不支持这款游戏！（更换游戏版本或换xp系统）
12。下载的游戏，播放器，输入法，下载工具，浏览器，驱动，等等的程序不稳定！（使用腾讯电脑管家卸载重装或升级至最新版本）！
祝楼主工作顺利、生活愉快！！
1. actor是 policy-gradient， critic是 类似于q-learning的value-based 的另一个代表： state-value ，所以actor-critic是 policy-gradient和q-learning思想的结合。
2. actor critic 虽然可以做到step更新，而非基础的policy gradient的 episode更新，但是也有它的缺点，就是在连续空间中做step更新，相邻step直接的相关性太大，这样的话learn的质量大大地受影响，直到 google 提出 DDPG(也就是 ac+DQN)策略， 才算解决这个问题。这是后面说的，我们当前先看基础的actor critic:
3. 具体到graph结构：
再看 critic网络：
注意： 虽然Actor-Critic是一个非常棒的idea， 可以结合 q-learning的 单step更新， 也可以利用policy-gradient的直接优化policy， 但是，这种结合的背后，我觉得有问题！
你在形式上看看， AC算法也就是把PG算法的 normalized Vt 替换成了 TD_error. 形式上，感觉很棒，但事实上，这有问题！ 之前normalized Vt，是有正负的， 正的代表梯度方向增大 ， 从而增大 该s-a概率， 如果vt为负，那么就朝着梯度下降的方向减小 ，这种可以调大和调小 的方式，非常合理， 但是，TD_error，你去看程序，会发现它是 gamma*v_ +r - v_的 平方 。 总是为正， 其实 log P * TD_error总是一个负值，根据 梯度上升的公式， 实质上一直要减小 值， 只是由于 TD_error的不断减小，导致这个 的更新幅度一直趋小，但总而言之，这种一直减小s-a的 值的做法，不甚合理。 在Movan的那个实例中， 这种AC算法， 表现非常差！ 是一直都不收敛！
Movan对此的解释说，是由于AC在连续状态下的相关性没有解决，从而导致的问题。 我觉得是有这个原因，但是我觉得 这种TD_error总是为正的做法，肯定也是性能不好的主要原因！ （这个地方，其实值得探索！）
但是，不管怎么收， 从基础版的 policy gradient 到 现在的 AC，已经做到了改进， 表现在： 可以单step做更新 （相比于之前整个episode才能算出的normalized vt，这里仅需要单step就可以求出state s的v 与 state s_的v_ 的 TD_error ）。
只不过，AC的TD_error更新，不够精确，也不够稳定，而且连续空间中的 s和 s_之间存在明显的相关性， 如何去掉这种相关性，并且提升准确性和稳定性？ 那就来个 AC的DQN版本，actor 和 critic各有两个神经网络， 来达到效果， 这个AC的DQN版本， 就叫做DDPG （DDPG的第二个D，就是Determisitic，其实就是用Actor的eval_net）
1.你 的iso文件有自动运行的程序.一装载以后自动搜索需要的一些文件而因为未正确安装而不能定位.你可以选择虚拟光驱的禁止光盘自动运行的选项,可能解决这个问题.另外可以将需要安装的文件正确安装2.本身iso文件的问题.压制的过程丢失了一些需要调用的程序或者文件.造成运行出错.
重新压制或者下载该iso文件
3.虚拟光驱软件的问题.可以尝试更换不同的虚拟光驱软件看看.
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）