微软研究人员使用深度强化学习来优化芯片设计
据路透社报道,优化芯片设计是提高当今系统估计能力的关键。但这是一个耗时的过程,人们正在努力提高效率。考虑到这一点,微软研究人员现在将注意力转向机器学习来帮助解决这个问题。
在最近关于 arXiv 的一篇题为“Chip with Deep”的论文中,微软团队将芯片布局问题定位为强化学习 (RL) 问题。之后,训练好的模型将芯片块(每个芯片块是一个独立的模块,例如显存子系统、计算单元或控制逻辑系统)放置到芯片画布上。
确定芯片块的布局,这一过程称为芯片布局规划,是芯片设计过程中最复杂和最耗时的阶段之一,涉及将网表放置在芯片画布(2D 网格)上谷歌优化,这可以最大限度地减少功率、性能和面积 (PPA),同时违反了对密度和布线串扰的限制。尽管该问题已经研究了六年,但仍需要人类专家进行数周的迭代才能得出满足多个设计标准的解决方案。
深度强化学习模型的输入是芯片网表、当前放置的节点ID,以及一些网表元数据。网表图和当前节点通过基于边的图神经网络生成为部分放置的图和候选节点的嵌入。
然后卷积神经网络将此作为聚合输入,并输出一个学习的表示,该表示捕获有用的特征并帮助生成跨越所有可能的网格单元的概率分布,通过策略网络可以将当前节点放置在该节点上。整个过程可以用下面的GIF来封装。右边的芯片显示了从头开始的宏布局,左边的芯片是一些初始布局的微调。
通过这些设置,研究人员展示了效率和放置质量的改进,并表示使用他们训练有素的 ML 模型在 6 小时内完成了一个需要人类专家数周时间的过程。
“我们的目标是最小化 PPA(功率、性能和面积),并且我们表明,在 6 小时内,我们的方法可以在现代加速器网表上产生超人或类似的位置,而现有基线需要人类专家在循环数周。”
展望未来,团队认为其模型展示了一种强大的手动芯片布局方法,可以大大加快芯片设计速度,也适用于任何芯片布局问题谷歌优化,这将使芯片设计过程的早期阶段能够实现协作优化。