都匀市| 铜陵县| 汝南县| 班戈| 当雄| 成安| 衡山县| 汝南县| 萨迦县| 达孜县| 拉孜| 韩城市| 宜川县| 九寨沟县| 泗洪县| 灵石县| 绍兴| 固镇| 黔江区| 从化市| 虎林市| 沁源县| 师宗| 德州| 义乌| 凤城| 郑州市| 合肥市| 贾汪| 百色市| 咸宁| 阿勒泰市| 资中县| 石楼县| 中西区| 吕梁市| 潜江市| 石楼县| 江华| 百色市| 聂荣| 天水市| 武宁| 柘荣县| 巨野| 锡林浩特市| 闽侯| 平邑县| 万源| 宜丰县| 当雄| 公安| 山丹| 汝南县| 大埔区| 应城| 南漳| 密云县| 罗山县| 宝兴| 镇安县| 大埔区| 石景山区| 图片| 尤溪| 伊宁市| 乳源| 伊宁市| 清河县| 菏泽市| 长垣县| 鄂尔多斯市| 德庆县| 从化市| 资中县| 临高县| 璧山县| 肃宁县| 牙克石市| 闻喜县| 寻乌| 勉县| 理县| 平罗县| 潜江市| 桐庐县| 寻乌| 巴楚| 寻乌| 韩城市| 涞水县| 石首| 中西区| 义乌| 博湖| 农安县| 天长| 资中县| 轮台| 堆龙德庆县| 中阳| 云阳县| 彰化| 尼玛县| 沾益| 九寨沟县| 洮南| 通许县| 房县| 镇远| 汉源县| 石首| 含山县| 成安| 湘潭市| 金堂县| 平泉| 彰化| 萝北县| 镇安县| 聂荣| 苏尼特右旗| 永登县| 建始| 盖州| 临夏| 庐山| 新化| 伊宁市| 瓦房店| 类乌齐县| 中超| 醴陵市| 青川县| 大余县| 阿合奇| 菏泽| 盐边| 永善县| 宁南县| 兴安| 内蒙| 阜平| 沧州| 邹城市| 藁城市| 盐边| 建始| 清镇市| 长乐市| 门源| 当雄| 扶沟县| 宿州| 金湖| 河源市| 轮台| 岑溪市| 清河县| 科尔沁左翼后旗| 公安| 凌源市| 勉县| 长垣县| 古浪| 高州市| 汶上| 武汉市| 洮南| 邹城市| 泾县| 藁城市| 澎湖县| 汶上| 高州市| 奉新| 吴忠| 茌平县| 巴楚| 清水河| 文安县| 莆田市| 巴彦| 蕲春| 乌拉特前旗| 康定县| 中卫市| 从化市| 长子| 康保| 鄂温克族自治旗| 资源| 原平市| 原阳| 安平县| 泗洪县| 舒城| 永丰| 吴忠| 赣州| 滑县| 博湖| 罗江县| 金堂县| 阿合奇| 海口市| 衡山县| 农安县| 汶上| 上犹| 赣州| 扶沟县| 嘉荫县| 乌拉特前旗| 聂荣| 海盐| 河源市| 广平县| 师宗| 和田市| 凌源市| 天长| 博乐市| 岱山县| 龙岩| 桐梓县| 深州| 安龙县| 织金| 高平| 太仓市| 廊坊| 武平县| 都匀市| 上甘岭| 民权县| 宝兴| 余干| 达孜县| 拉孜| 武城县| 大田| 莲花| 河曲县| 彭山县| 长子| 上犹| 论坛| 界首市| 临高县| 康保| 蒲江| 清水河| 株洲|

下周做好捡拾便宜筹码准备——穗城投资

2018-07-17 13:27 来源:腾讯健康

  下周做好捡拾便宜筹码准备——穗城投资

  中国模式和中国道路的成功,为世界进步提供了中国方案,也预示着全新的世界格局已经到来。北京风雷京剧团团长松岩饰演的花得雷,稳健敦实中流露出轻佻暴戾,开打激烈火炽,套路娴熟,一派大武生风范;北京戏曲职业学院优秀武丑教师李丹饰演的尹亮,诡计多端却又身手敏捷,翻打跌扑火爆炽热;北京京剧院著名老生演员张澍饰演的彭朋,唱腔规矩,潇洒飘逸;北京京剧院优秀青年丑角演员赵世康饰演的贾亮,足智多谋,嗓音清亮,口齿清楚,身轻如燕,三张高桌一跃而下;风雷京剧团副团长焦健琪饰演的蒋旺,鲁莽凶恶又懵懂滑稽,开打时劲头充足,干净利落,显示出深厚功底;北京京剧院著名花脸演员韩巨明、风雷京剧团优秀花脸演员李旭、武丑演员樊荣、杜小川,分别饰演的蔡庆、纪有德、高通海、刘德太,均有上佳表现。

1958年3月,德国作家君特·格拉斯(见图)“费了些周折弄到了波兰签证”,从巴黎经华沙回到波罗的海沿岸的故乡格但斯克。——陈美儒(台湾著名教育家)主编推荐★一个朝代从兴盛到衰亡,历史大多只记载帝王将相,几乎不记载庶民。

  这首先因为他是俄国人,16岁就参加了俄国的社会主义运动,1903年即加入俄国社会民主工党,站在多数派一边,是老资格的布尔什维克。正像书中写道的:“中国传统知识人的性情体系是一套始终如一的精神价值系统。

  在张闻天夫人刘英要求给张闻天做政治结论的信上,陈云批示完全应该,并亲自主持了张闻天的追悼会。大概1-2周之内,收到了10万多个各种赞助和来的人。

特别是古建部的专家在《紫禁城100》资料考证上的协力帮助,使此书得以顺利出版。

  毁灭的阴影在画壁间出没,樊再轩和同事们思索着:如何才能找到相对完善的治疗方法呢?一支“外国医疗队”的到来,为他们提供了新的思路。

  战略支撑,破解做强三大不匹配“白酒行业经过四年左右的盘整,去年以来显现出一些比较积极的信号,尤其是得益于消费升级的驱动,白酒市场恢复较快。  只是记得不要因为流连小岛而错过了中午那班返回斯文堡(Svendborg)的渡船,从那里只需四十分钟的车程就可以到菲英岛的中心城市欧登塞—每个安徒生的读者都慕名前往的童话之乡,去追寻儿时梦中那些装着童话故事的肥皂泡泡在阳光下幻映出来的影子。

  据此,中共十一届五中全会决定:撤销八届十二中全会作出的决议,为刘少奇彻底平反昭雪,恢复名誉,同时对受牵连的人和事,凡属冤假错案的一律平反。

  ”这意思明明白白,就是鲍罗廷的工作还要像过去一样,以孙中山的国民党为中心。与以往小心翼翼地不愿与莫斯科扯上关系的情况相比,孙中山这时的态度变得异常坚定。

  刚刚在第四届中国国际马戏节上获得银虎奖的北京杂技团的小演员们,带来了获奖作品《抖空竹的小妞妞》,高难度的技巧,令观众交口称赞。

  长河就这样日夜不歇,与泱泱皇城融合为一、休戚与共。

  倡议指出,广大僧尼要以十世班禅大师和帕巴拉·格列朗杰等藏传佛教界爱国爱教人士为表率、为榜样,继承和发扬爱国爱教、护国利民的优良传统,自觉与分裂势力划清界限,努力在维护祖国统一、民族团结、边疆稳定中作贡献。文女士在2007年5月18日给我的来信中写道:  “……‘精力过人’不敢当。

  

  下周做好捡拾便宜筹码准备——穗城投资

 
责编:笑脸
注册

下周做好捡拾便宜筹码准备——穗城投资

  这里是丹麦第三大城市,17万人口,新建的大学城,国家电视二台(TV2)的总部,年轻人聚集的艺术工厂,头衔多样的文化节和热闹的街头表演节目。


来源:机器之心

原标题:开源 | Intel发布神经网络压缩库Distiller:快速利用前沿算法压缩PyTorch

原标题:开源 | Intel发布神经网络压缩库Distiller:快速利用前沿算法压缩PyTorch模型

选自intel

作者:Neta Zmora

机器之心编译

参与:思源

近日,Intel 开源了一个用于神经网络压缩的开源 Python 软件包 Distiller,它可以减少深度神经网络的内存占用、加快推断速度及节省能耗。Distiller 为 PyTorch 环境提供原型和分析压缩算法,例如产生稀疏性张量的方法和低精度运算等。

项目地址:https://github.com/NervanaSystems/distiller/

文档地址:https://nervanasystems.github.io/distiller/index.html

深度学习正快速发展,它从输入法到汽车已经应用到各种场景和设备当中。但它们所采用的深度神经网络在运算时间、计算力、内存和能耗上都有非常大的需求。很多开发者考虑到硬件和软件的限制及实际应用的环境,而在算法准确度、速度和功耗之间取得平衡。近日,Intel 人工智能实验室开源了 Neural Network Distiller,它是一个为神经网络压缩算法研究而设计的 Python 包。Intel 认为深度网络的压缩可以成为促进更多的研究成果投入应用,并实现更优秀的功能。

深度网络压缩

面向用户的深度学习应用需要高度重视用户体验,因为交互式的应用通常对程序的响应时间非常敏感。谷歌的内部研究发现即使很小的服务响应延迟,它对用户的影响也非常显著。而随着越来越多的应用由深度模型提供核心功能,不论我们将模型部署在云端还是移动端,低延迟的推断变得越来越重要。

减少计算资源和加快推断速度的一种方法是从一开始就设计一种紧凑型的神经网络架构。例如 SqueezeNet 和 MobileNet 都旨在压缩参数数量与计算量的情况下尽可能保留较高的准确度,而 Intel 人工智能实验室也在设计这种紧凑型的模型,即提出了一种用于深层 DNN 的无监督结构学习方法,以获得紧凑的网络结构与高准确率。

而另一种降低计算力需求的方法直接从通用且性能优秀的深度网络架构开始,然后通过一些算法过程将其转换为更加短小精悍的网络,这种方法即神经网络压缩。

神经网络压缩是降低计算力、存储空间、能耗、内存和推断时间等需求的过程(至少其一),它同时还需要保持其推断准确性不下降或在可接受的范围内。通常这些资源是相互关联的,减少一种资源的需求同时会降低其它资源的需求。此外,即使我们使用前面几种紧凑的小模型,我们同样可以使用压缩算法进一步减少计算资源的需求。

其实很多研究都表明深度神经网络存在着非常高的参数冗余,虽然这些参数冗余在收敛到更优解时是非常必要的,但在推断过程中可以大量减少参数与计算量。总体而言,绝大多数压缩方法在于将巨大的预训练模型转化为一个精简的小模型,且常用的方法有低秩近似、神经元级别的剪枝、卷积核级别的剪枝、参数量化及知识蒸馏等。

例如在量化这一常见的压缩算法中,我们只需储存 k 个聚类中心 c_j,而原权重矩阵只需要记录各自聚类中心的索引就行。在韩松 ICLR 2016 的最佳论文中,他用如下一张图非常形象地展示了量化的概念与过程。



如上所示权重矩阵的所有参数可以聚类为 4 个类别,不同的类别使用不同的颜色表示。上半部分的权重矩阵可以取聚类中心,并储存在 centroids 向量中,随后原来的权重矩阵只需要很少的空间储存对应的索引。下半部是韩松等研究者利用反向传播的梯度对当前 centroids 向量进行修正的过程。这种量化过程能大量降低内存的需求,因为我们不再需要储存 FP64 或 FP32 的数据,而只需要储存 INT8 或更少占位的数据。

Distiller 简介

Intel 主要根据以下特征和工具构建了 Distiller:

  • 集成了剪枝、正则化和量化算法的框架

  • 分析和评估压缩性能的一组工具

  • 当前最优压缩算法的示例实现



剪枝和正则化是两种可以令深度网络参数张量产生稀疏性的方法,其中稀疏性度量的是参数张量中有多少数值精确为 0。稀疏张量可以更紧凑地储存在内存中,并且可以减少执行 DNN 运算所需要的计算量和能耗。量化是另一种减少 DNN 中数据精度的方法,它同样会减少内存、能耗和计算力需求。Distiller 为量化、剪枝(结构化剪枝和细粒度剪枝)和诱导稀疏性的正则化等方法提供了越来越多的当前最优算法,并支持训练更快、更紧凑和更节能的模型。

为了帮助研究者更专注于它们的任务,Intel 尝试提供一些大多数研究者都需要了解的压缩算法,并同时提供了高级和底层函数以方便使用。例如:

  • 剪枝方法在深度网络经过训练后,动态地从卷积网络层级移除卷积核与通道。Distiller 将在目标层配置中执行这些变化,并且同时对网络的参数张量做剪枝。此外,Distiller 还将分析模型中的数据依赖性,并在需要时修改依赖层。

  • Distiller 可以自动对模型执行量化操作,即使用量化后的层级副本替代具体的层级类型。这将节省手动转换每一个浮点模型为低精度形式的工作,并允许我们专注于开发量化方法,且在多种模型中扩展和测试它。

Intel 已经通过 Jupyter Notebook 介绍并展示如何从网络模型和压缩过程中访问统计信息。例如,如果我们希望移除一些卷积核,那么可以运行用于滤波器剪枝敏感性分析的模块,并得到类似以下的结果:

Jupyter Notebook 地址:https://nervanasystems.github.io/distiller/jupyter/index.html



Distiller 的统计数据可导出为 Pandas DataFrames,它可用于数据选择(索引和截取等)和可视化。

Distiller 还展示了一些示例应用,并使用量化和剪枝等方法压缩图像分类网络和语言模型。Distiller 还实现了一些神经网络压缩的前沿研究论文,它们也可以作为我们尝试新方法的模板。此外,我们也可以在官方 PyTorch 深度预训练模型上使用这些压缩算法,以降低计算资源的需求。

Distiller 压缩示例:https://nervanasystems.github.io/distiller/model_zoo/index.html

这只是个开始

Distiller 是一个用于压缩算法研究的库,它致力于帮助科学家和工程师训练并部署 DL 的解决方案、帮助发布研究论文以及促进算法更新与创新。Intel 目前也在添加更多的算法、特征和应用领域,如果读者对于研究并实现 DNN 压缩算法很感兴趣,也可以帮助改进并提升 Distiller 库。最后,Distiller 非常欢迎新的想法与深度网络压缩算法,同时也希望开发者能多发现该库的 Bug。

[1] Forrest N. Iandola, Song Han, Matthew W. Moskewicz, Khalid Ashraf, William J. Dally and Kurt Keutzer. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size.」_arXiv:1602.07360 (https://arxiv.org/abs/1602.07360)_ [cs.CV]

[2] Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto and Hartwig Adam. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. (_https://arxiv.org/abs/1704.04861_).

[3] Michael Zhu and Suyog Gupta,「To prune, or not to prune: exploring the efficacy of pruning for model compression」, 2017 NIPS Workshop on Machine Learning of Phones and other Consumer Devices (_https://arxiv.org/pdf/1710.01878.pdf_)

[4] Sharan Narang, Gregory Diamos, Shubho Sengupta, and Erich Elsen. (2017).「Exploring Sparsity in Recurrent Neural Networks.」(_https://arxiv.org/abs/1704.05119_)

[5] Raanan Y. Yehezkel Rohekar, Guy Koren, Shami Nisimov and Gal Novik.「Unsupervised Deep Structure Learning by Recursive Independence Testing.」, 2017 NIPS Workshop on Bayesian Deep Learning (_http://bayesiandeeplearning.org.hebeishounong.com/2017/papers/18.pdf_). 


本文为机器之心编译,转载请联系本公众号获得授权

?------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

  • 好文
  • 钦佩
  • 喜欢
  • 泪奔
  • 可爱
  • 思考

凤凰网科技官方微信

凤凰新闻 天天有料
分享到:
罗西街道 孝河口 安仁坊 福海镇 酒井哈尼族乡
人民大厦公寓 西湖道华章里 珠嘉乡 刁营 黄溪峪