尊龙凯时人生就是博·(中国大陆)官方网站

（原标题：全球首个半导体大模子）

如若您但愿不错通常碰面，接待标星储藏哦~

近几个月来，Aitomatic 过甚“AI 定约”联结伴伴（包括 Meta、AMD 和IBM）推出了一个新锤真金不怕火的培训的大模子。局太闷所说，这是寰宇上第一个成心为忻悦半导体行业需求而贪图的大型说话模子，悉力于成为半导体贪图公司职责历程的一部分。

据考究开发 SemiKong LLM 的 Aitomatic 公司称，半导体行业挫折需要收罗行家信息。很多老龄行家行将退休，他们的学问也随之流失，因此很多公司濒临着严重的专科学问短缺问题。成心为忻悦行业需求而诞生的 LLM 课程似乎是为新工程师提供保握竞争力所需信息的可靠门径。

SemiKong 基于 Meta 的 Llama 3.1 LLM 平台，近期发布了 70B 版块。Aitomatic 与新 AI 定约的其他联结伴伴（包括 Meta、AMD 和IBM）联结开发了 LLM，其中 Aitomatic 的 DXA 系统成为 SemiKong 部署的撑握。

DXA（Domain-Expert Agents）是 Aitomatic 将微型 LLM agents与 SemiKong 70B 的中央集群领悟起来的方式。通过对客户公司的本事库或行家工程师的要求进行培训，DXA 不错忻悦该公司的需求。然后，经过锤真金不怕火的 DXA 被中枢 SemiKong 部署用来自动履行开发任务或与工程师和工东说念主进行聊天机器东说念主式的交流。

在其当今的 70B 版块中，以及基于 SemiKong 的微型 DXA agents下，LLM 的实用性远远卓绝了半导体边界的通用 AI 模子。SemiKong 宣称新芯片贪图的上市时刻镌汰了 20-30% ，初次得胜制造得分普及了 20%。它还宣称不错将新工程师的学习弧线加速多达 50%，这是Meta支握的关键主张。

了解 SemiKong是什么

半导体行业推动了消费电子、汽车系统和顶端臆测本事的向上。半导体的坐褥触及复杂的工艺，需要无与伦比的精度和专科学问。这些过程包括芯片贪图、制造、测试和优化，每个阶段齐需要深厚的边界学问。该边界传统上依赖于确认注解丰富的工程师，他们领有数十年实在认注解。

然则，该行业濒临着一个要紧挑战：资深行家的快速退休，酿成了学问差距，威迫到翻新和收尾。这种日益增长的担忧促使公司探索东说念主工智能四肢获取、推广和垄断行家学问的可行不竭决议。此外，必须尽量减少与芯片贪图和制造关连的资本和时刻，以忻悦市集需求。这些挑战突显了传统门径的局限性，并强调了量身定制的东说念主工智能不竭决议的必要性。

应酬这些挑战的现存门径包括通用 AI 模子和基本自动化器用。天然这些门径在分析数据和改善决策方面很有匡助，但它们时时无法不竭半导体行业专有的复杂性。举例，通用 AI 器用枯竭有用分析复杂制造过程所需的边界特定领会。因此，公司无法全齐弥合表面 AI 能力与施行行业需求之间的差距，从而为成心的不竭决议编削该边界留住了空间。

于是，Meta、AITOMATIC 和 AI 定约基础模子职责组下的其他联结者的研究东说念主员推出了 SemiKong。SemiKong 是寰宇上第一个专注于半导体的大型说话模子 (LLM)，使用 Llama 3.1 平台贪图。该模子经过无数半导体专用数据集的微调，包括行业文档、研究论文和匿名操作数据。与通用 AI 系统不同，SemiKong 是成心为领会半导体工艺的专有术语和要求而定制的。通过将此模子与 AITOMATIC 边界行家代理 (DXA：Domain-Expert Agents) 集成，公司不错有用垄断 AI 器用来不竭特定的行业挑战。这些翻新旨在贬低资本、加速开发程度并促进所有这个词半导体行业的联结。

SemiKong 背后的本事建立在先进的 AI 和神经标记架构之上。AITOMATIC的 DXA 通过结构化的三阶段人命周期运行：

1、获取边界专科学问

2、使用合成和结构化数据锤真金不怕火模子

3、将生成的系统应用于现实场景

SemiKong 在该生态系统中上演着中枢变装，是复杂推理和决策任务的“大脑”。轻量级模子版块（举例 Llama 3.2）通过在资源受限的环境中结束更快的数据看望和分析来补充主系统。这些模子与制造系统和物联网平台无缝集成，使公司概况优化职责历程、预测保养需求并改善决策。

SemiKong 在生成特定于半导体的内容和领会复杂过程方面的阐扬优于多种闭源说话模子。这带来了切实的刚正，包括新芯片贪图的上市时刻镌汰了 20-30%，制造一次得胜率普及了 15-25%。这些器用还改善了新工程师的入职历程，将他们的学习弧线加速了 40-50%。在一个例子中，支握 SemiKong 的 DXA 镌汰了蚀刻配方制定所需的时刻，而这频繁需要数小时到数分钟。

研究的关节论断强调了 SemiKong 和 DXA 在半导体边界的关键意念念：

1、DXA 有用地拿获和构建资深工程师的学问，确保关节的专科学问得到保存并推广以供将来使用。

2、SemiKong 将芯片贪图的上市时刻镌汰了高达 30%，显耀贬低了资本并普及了运营收尾。

3、通过简化和加速入职历程，DXA 不错匡助新工程师更快地普及职责收尾，减少行业对确认注解丰富的行家的依赖。

4、集成物联网平台不错结束子时参数校准和预测性保养，普及开辟性能和可靠性。

总之，这项研究隆起了一项首创性的不竭决议，以应酬半导体行业最紧迫的挑战之一：关节边界专科学问的流失。通过引入 SemiKong 和 DXA，研究东说念主员提供了一个全面的框架，不错保存学问并普及坐褥力和翻新能力。这些向上可能会重塑半导体制造业，提供可推广、经济高效的不竭决议来不竭该边界的复杂性。集成像 SemiKong 这么的 AI 器用关于更高效、更具弹性的半导体行业至关关键。

接下来，咱们编译了他们关连该样式的内容，以供群众参考：

大型说话模子 (LLM) 已显现出不竭半导体行业某些问题的后劲。然则，它们频繁是通用模子，枯竭不竭该行业专有挑战所需的专科学问，举例半导体器件和工艺的复杂物理和化学性质。SemiKong 是第一个针对半导体边界的行业特定 LLM，它为开发定制的专有模子提供了基础。

借助 SemiKong 1.0，咱们旨在开发一个概况在行家级别领会蚀刻问题的基础模子。咱们的主要孝敬包括 (a) 整理全面的半导体关连文本语料库，(b) 创建具有深入半导体学问的基础模子，以及 (c) 引入一个用于集成行家学问的框架，从而股东特定边界 AI 模子的评估过程。

通过使用咱们精选的数据集对预锤真金不怕火的 LLM 进行微调，咱们仍是阐述 SemiKong 在各式半导体制造和贪图任务中的阐扬优于更大的通用 LLM。咱们进行了无数的实验，强调了开发特定边界的 LLM 四肢公司或器用特定专有模子的基础的关键性，为半导体边界的进一步研究和应用铺平了说念路。

1、先容

1.1、半导体制造与贪图

半导体在为各式电子开辟供电以及推动电信、汽车、医疗保健、可再纯真力和物联网等行业的发展方面阐发珍贵要作用。在半导体制造和贪图中，两个主要阶段 FEOL 和 BEOL 各自齐濒临着专有的挑战。FEOL 是坐褥线的前端工艺，触及在半导体晶圆上创建有源器件。这包括晶圆制备、光刻、蚀刻、离子注入和栅极氧化物形成等门径 El-Kareh (这些工艺关于界说集成电路（IC）的晶体管结构和其他有源元件至关关键。)。

另一方面，BEOL（后端坐褥线工艺）专注于领悟在 FEOL 时代创建的有源器件。这包括金属层、绝缘层和焊盘的形成 Quirk 和 Serda。后端工艺关于建立器件之间的电气领悟以及结束 IC May 和 Spanos 的全体功能至关关键。

跟着特征尺寸连接放松，器件架构变得越来越复杂，对先进制造本事和贪图门径的需求变得至关关键。这导致东说念主们对垄断东说念主工智能 (AI) 和机器学习 (ML) 本事来优化半导体制造工艺和协助贪图任务的趣味日益浓厚 Amuru 等东说念主。。

1.2、大模子在半导体边界的应用

大模子 (LLM) 的最新进展已阐述其在各个边界具有高大后劲，半导体行业东说念主员使用自监督学习本事对无数文本数据进行锤真金不怕火的 LLM 已显现出拿获丰富边界学问和生成雷同东说念主类的文本的能力。这为将 LLM 应用于半导体工艺本事和 IC 贪图任务开辟了新的可能性。

在半导体工艺本事的配景下，LLM 不错潜在地协助工艺参数优化等任务，其他诸如格外检测 以及制造开辟的预测性保养亦然大模子不错阐发作用的场地。通过垄断事前锤真金不怕火的模子中镶嵌的无数历程数据和边界学问，LLM 不错匡助识别模式、预测历程收尾并为各式制造门径建议最好成立。同样，在 IC 贪图边界，LLM 不错匡助完成贪图规矩检讨、布局生成和贪图空间探索等任务；通过从无数 IC 布局和贪图规矩数据围聚学习， LLM 不错生成符合指定抑止并针对所需性能方针进行优化的新贪图。

1.3、目的和范围

基于 LLM 的得胜和后劲，本文先容了 SemiKong，这是第一个针对半导体边界量身定制的行业特定 LLM，专注于半导体工艺本事和制造中的应用。咱们旨在通过整理全面的半导体关连文本语料库并开发一种垄断边界特定学问的新式预锤真金不怕火门径来不竭通用基础模子的局限性。通过这么作念，咱们悉力展示行业特定 LLM 在普及 AI 驱动的半导体制造任务不竭决议性能方面的后劲。

这项职责的范围包括以下内容：

• 整理大范围、半导体专用文本语料库，重心热心工艺本事和制造

• 基础模子SemiKong的开发成心针对半导体行业的蚀刻问题

• SemiKong对行业关连数据和历程优化与限度关连任务的微调

• 引入一种新颖的框架来垄断行家反馈，从而股东基于 LLM 的特定边界 AI 模子评估门径。

• SemiKong 与通用 LLM 比拟的性能评估

• 究诘行业特定法学硕士在半导体制造中的含义和潜在应用

本文的主要孝敬如下：

• SemiKong-Corpus：咱们整理了全面的半导体关连文本语料库，涵盖了与半导体工艺本事和制造关连的等闲主题。该语料库是锤真金不怕火 SemiKong 的基础，并拿获了不竭制造关连任务所必需的边界特定学问。

• SemiKong-Trainer：咱们推出了 SemiKong，这是一种专科的基础模子，具有丰富的半导体制造术语和工艺历程学问，极度预防蚀刻。通过使用咱们全心挑选的数据对 SemiKong 进行预锤真金不怕火和微调，与通用 LLM 以致基于 LLM 的交易家具比拟，咱们不才游任务中结束了明显的质料改进，如图 1所示。

• SemiKong-Eval：咱们开发了一个新颖的框架，以有用垄断行家的学问来股东基于 LLM 的评估历程并生成高质料的基准。此外，咱们还进行了等闲的评估，以评估 SemiKong 在行业关连基准上的阐扬，举例工艺参数优化、格外检测和预测性保养。咱们的收尾阐述了 SemiKong 优于通用 LLM，突显了为半导体制造边界开刊行业特定模子的关键性。

本文的其余部分安排如下：第 2节概述了 AI 和 LLM 在半导体行业应用的关连职责。第 3节先容了半导体内容，重心先容了半导体制造的前端历程。第 4节概述了用于整理半导体专用文本语料库和开发预锤真金不怕火门径的门径。第 5节先容了实验成立和收尾，比较了 SemiKong 与通用 LLM 在各式制造任务中的阐扬。第 6节究诘了研究收尾的含义、将来的潜在研究主义，并总结了本文。

2、关连职责

2.1、半导体制造中的东说念主工智能（AI）

东说念主工智能 (AI) 在半导体制造中的应用取得了要紧进展，垄断各式 AI 门径来普及半导体制造工艺的收尾、良率和质料。本节回归了应用于半导体制造不同阶段的最先进的 AI 门径，包括两个关键门径：掩模优化和热门检测。

掩模优化（mask optimization）是半导体制造中的关节门径。传统的掩模优化门径由于其迭代特点频繁会奢华无数的运行时刻. 最近，有团队建议了基于机器学习的门径来加速掩模优化任务，有研究东说念主员以致将隐式学习应用于掩模优化任务中的逆向光刻门径。一个名为 LithoBench的大型数据集由卓绝 120k 个电路布局图块构成，用于基于深度学习的光刻模拟和掩模优化，并发布以加速基于机器学习的门径。此外，在掩模优化任务中，建议使用深度强化学习径直优化光学周边校正 (OPC) 中的首选主义，这是一种用于关连感知掩模优化的调制强化学习，旨在垄断相邻段通顺之间的空间关连性。

热门检测（Hotspot detection）是半导体制造中确保集成电路 (IC) 可靠性和性能的关键门径。热门是芯片上过热或应力可能导致颓势的区域，从而贬低制品率并影响器件的寿命和功能。跟着半导体本事节点的连接放松，检测情切解这些热门变得越来越关键。一种基于主动学习的热门检测门径在检测精度方面取得了令东说念主印象深入的阐扬。基于AdaBoost分类器和简化特征索要的新式光刻热门检测框架获取了较高的准确率，误报率也很低。

此外，招揽自定程度多任务学习的半监督学习被建议用于热门检测。同期，有团队建议了一种使用深度卷积神经集聚进行热门检测的门径，该门径还获取了准确的检测性能。这些门径仅仅专注于特定的任务，而不是建立一个模子来全面支握半导体运营工程师。

2.2、半导体行业大模子

LLM 旨在适合特定边界的芯片贪图，包括从代码生成到诞妄总结以及为 EDA 工程师提供聊天机器东说念主协助等一系列任务。一个名为ChipNemo的样式阐述了边界微调的 LLM 模子在问答工程助理聊天机器东说念主、EDA 剧本生成以及 bug 总结与分析三个特定任务上的阐扬优于 Llama3、GPT4 等通用 LLM 模子。一个东说念主名为RTLCoder的大模子在贪图 RTL 生成方面的阐扬优于 GPT-3.5，它招揽了开源数据集和通过代码质料反馈的新锤真金不怕火决议。另一个名为ChipGPT的模子强调了数据驱动门径，明确指出数据是微调芯片贪图 LLM 模子所需的一起。以上收尾标明，使用边界 LLM 的代码生成任务有显耀改善。

另外，一个名为Hdldebugger的模子专注于通过 LLM 接济 HDL 调试框架使用 LLM 模子进行调试。同期，Rtlfixer旨在使用 LLM 模子自动成立 RTL 语法诞妄。Chip-Chat 使用对话式 LLM 进行实验，以贪图和考证使用 GPT-4 和 GPT-3.5 的 8 位累加器。ChatEDA 引入了一个由经过微调的 LLaMA2 70B 模子赋能的 EDA 自主代理，该模子在此任务中的阐扬优于 GPT-4 模子。

此外，受天然说话处理 (NLP) 大模子的启发，大型电路模子被建议四肢简化 EDA 历程的新范式。然则，这些模子大多使用微型寰球数据集开发，况且铁心了行家在开发过程中的参与。

2.3、大模子四肢评估者

东说念主类评估是评估天然说话生成 (NLG) 算法的关键门径。很多 NLP 任务需要纯属的谛视者或行家进行可靠的评估。然则，由于资本腾贵和对可重叠性的担忧，招募东说念主类行家时时是不切施行的。与此同期，像 BLEU Papineni 和 ROUGE Lin等这么的自动检测（automatic metrics）未能达到可靠性预期，无法准确响应东说念主类偏好。

最近，使用 LLM 来评估 NLG 已被引入来不竭这些问题。这些门径无需参考，要求 LLM 字据任务要求阐述其谜底的合感性，并展示与东说念主类判断的关连性，假定 LLM 概况领会高质料领悟的文本并为其分派更高的概率。G-eval Liu 等东说念主应用念念路链本事，要求 LLM 生成详备的评估门径来普及评估质料。

尽管取得了这些向上，但这些门径有一个共同的局限性：它们假定 LLM 自己不错领会和评估学问。然则，在需要深厚专科学问的边界（举例半导体），频繁需要具有多年确认注解的行家来评估复杂问题，以便作念出准确判断。

鉴于这些挑战，本文建议了一个框架，垄断行家反馈来创建尺度，以便 LLM 进行更可靠的评估，接近行家级的可靠性。此反馈还用于为半导体边界生成高质料的基准。OSCaR Nguyen 等东说念主招揽了雷同的门径来生成高质料的基准。不外，他们垄断了 Amazon MTurk 上昔时东说念主的反馈，而咱们的基准则依赖于行家学问，从而确保了更高的可靠性。

3、半导体内容（Semiconductor Ontology）

半导体制造触及很多复杂的门径和历程，需要等闲的学问才能有用履行。在每个门径中，让成心从事该边界的行家来率领工东说念主至关关键。然则，半导体制造过程关于东说念主工智能研究东说念主员来说并谢绝易获取，他们在东说念主工智能方面领有深厚的专科学问，但时时枯竭特定边界的学问，尤其是对半导体制造的了解。这一差距遮挡了高效、特定边界的东说念主工智能模子的开发。

为了应酬这一挑战，咱们与半导体行家联结开发了一个内容（ontology），系统地构建了所有这个词半导体制造过程。该内容招揽从上至下的门径构建，将该边界从一般级别分手为详备级别、子级别和特定历程，确保不会忽略任何干键历程。

通过系统地构建半导体制造过程，咱们的内容不仅不竭了东说念主工智能研究东说念主员的学问差距，还为创建更有用的特定边界东说念主工智能模子奠定了基础。该内容不仅关于构建成心的东说念主工智能模子（如用于蚀刻的 SemiKong）相配有价值，而且还不错四肢评估将来通用智能模子的基准，这些模子旨在不竭等闲的半导体制造主题，非论是在模子开发回是评估方面。

内容的档次结构增强了领会和锤真金不怕火收尾，从而概况创建具有针对半导体制造特定阶段的精准瞻念察力的专用说话模子代理。因此，该内容可四肢率领将来培训职责和确保说话模子与行业向上保握同步的动态器用。为了结束这些主义，全心贪图的圭表和精采的实施关于构建全面的半导体内容至关关键。

咱们与行业行家联结开发了半导体制造内容，涵盖了从前端到后端的所有这个词半导体制造过程，包括基板制备、薄膜形成、图案化、掺杂、平坦化、清洁和名义制备、热处理、计量和检测、高档模块和后端工艺。这些代表了半导体制造的主要档次，咱们的行家进一步将其分为二级和三级。

举例，图案化是一个关节的第一级工艺，在第二级中进一步细分为蚀刻等子类。第三级将蚀刻分为湿法蚀刻、干法蚀刻、等离子蚀刻、反应离子蚀刻、深反应离子蚀刻、各向同性湿法蚀刻、各向异性湿法蚀刻、原子离子蚀刻和电子回旋加速器蚀刻。

本文先容了咱们的模子 SemiKong，它不错全面领会和支握蚀刻工艺，确保咱们的内容全齐隐私这一关节边界，并为将来其他半导体制造工艺中的成心模子奠定基础。

4、SemiKong：半导体行业特定大模子

开刊行家级的边界特定模子需要获取关连边界的深入学问。一种流行的门径是使用全面的边界特定数据锤真金不怕火模子。该锤真金不怕火过程可分为两个阶段：预锤真金不怕火和微调。天然这种门径频繁不错显耀改善模子，但它仍然存在与数据质料保证、界说模子锤真金不怕火战略和笃定适当的评估方针关连的挑战。在本节中，咱们将究诘咱们的数据不竭历程（第 4.1节）、使用预锤真金不怕火和微调锤真金不怕火 SemiKong 模子的过程（第 4.2节）以及在评估历程中加入行家反馈（第 4.3节）。

4.1、数据不竭（Data Curation）

高质料边界专用数据集（包括半导体边界的数据集）频繁很有数。为了不竭这个问题，咱们成心针对半导体边界引入了一个大范围、高质料的基于文本的数据集。咱们的数据集由两部分构成：用于预锤真金不怕火的文档和用于微调实在认。

预锤真金不怕火数据集：预锤真金不怕火是将学问融入模子的关节门径。然则，预锤真金不怕火的通用模子频繁优先琢磨数据隐私率而不是深度。笃定使用哪些数据来锤真金不怕火模子以及它所包含的学问范围是一项挑战。基于这个问题，咱们假定通用预锤真金不怕火模子枯竭深入的学问和专注于特定边界的能力。

咱们引入了一个基于文本的数据集，专注于半导体，摘自本事册本、论文和专利。为了构建这个数据集，咱们手动搜索了互联网上可用的寰球 PDF 文档。然后使用 PyPDF 库将这些文档革新为原始文本。由于原始文本频繁存在形态问题，咱们使用 GPT-4o-mini 进行后处理，将文本革新为 markdown 形态。此门径不仅改造了解析诞妄，还保留了特别类型的信息，举例表格。咱们建议的预锤真金不怕火数据集的有用性在表 IV 所示的实验收尾中得到了阐述。收尾标明，当将贞洁使用辅导进行微调的模子与微调之前使用咱们的数据集进行预锤真金不怕火的模子进行比较时，有显耀的改进。

辅导数据集：咱们垄断 GPT-4o 和 GPT-o1-preview 生成与半导体关节字关连的辅导。为此，咱们起初预界说了一个与半导体关连的术语列表，该列表率领 GPT-4o 生成其他同义词和关连关节字。然后使用这个推广的列表率领 GPT-4o 为咱们的数据集制定问题。咱们的门径确保全面隐私咱们的 SemiKong 不错不竭的问题，从而普及咱们的辅导数据集的有用性。

该数据集包括 5,000 个解释半导体想法的问题、5,000 个不竭需要数学推理的复杂蚀刻问题的问题和 40,000 个不竭尺度蚀刻工艺问题的问题，如表 I 所示。问题集完成后，咱们使用 GPT-4o 回答与半导体想法和老例问题关连的问题。关于触及数学和推理的更复杂的问题，咱们使用 GPT-o1-preview 来生成谜底。这种门径增强了模子不竭复杂问题的能力，使其成为更强劲的基础模子，极度是在半导体蚀刻边界。

4.2、模子锤真金不怕火

咱们使用第 3.1 节中形色的精选数据集来锤真金不怕火咱们的 SemiKong 模子。起初，使用 Tiktoken（一种基于 BPE 的标记器）对文本数据进行标记，该标记器等闲应用于宽广 NLP 应用圭表中。随后，将旋转位置镶嵌 (RoPE) 纳入位置镶嵌组件，以使 LLM 概况有用地拿获位置信息。锤真金不怕火过程包括两个阶段：使用纯文本数据集进行模子预锤真金不怕火和监督微调 (SFT)。然后，咱们进行锤真金不怕火后处理，使模子更稳妥坐褥。模子概述和臆测资源详见表 II。

模子预锤真金不怕火（Model pre-training）：咱们假定通用预锤真金不怕火模子枯竭边界特定学问。因此，咱们使用 Meta 的 Llama3 8B 和 70B 检讨点四肢开赴点对咱们的 SemiKong 模子进行了预锤真金不怕火。此门径旨在增强模子对半导体边界的深入学问，从而确保它们愈加专注于咱们但愿模子在将来成为行家的特定边界。

监督微调 (SFT：Supervised fine-tuning)：预锤真金不怕火为模子提供了深入的边界学问，而微调则使模子概况履行咱们预期的任务，举例问答、对话和推理。鉴于辅导数据的可用性，SFT 用于率领模子履行与半导体关连的任务。

锤真金不怕火后历程（Post-training process）：在预锤真金不怕火和微调之后，咱们进行了量化和统一，为部署模子作念好准备。咱们的结束招揽了 GPTQ ，这是一种用于生成式预锤真金不怕火ransformers的精准锤真金不怕火后量化本事。临了，将 LoRA 适配器与原始 LLM 模子统一，以生成针对半导体制造量身定制的最终 LLM 模子。

4.3、评估半导体制造大模子的建议门径

在特定边界环境中评估 AI 助手模子需要行家判断来阐述模子响应的实用性。然则，行家谛视频繁有限且资本腾贵。因此，开发一个自动化方针来评估这些模子的质料关于它们的开发和评估至关关键。这么的方针不仅支握样式开发，而且不错四肢将来该边界研究的尺度。受此需求的推动，咱们建议了一种新颖的历程来生成评估尺度列表。此尺度列表将输入到 LLM 中，以增强其阐述行家模子的能力。一个关节的挑战是不同的子边界需要不同的评估尺度，况且莫得适用于所有问题的通用尺度。

咱们展望，有了最终笃定的尺度列表，LLM 将概况评估与行家判断高度关连的 AI 助手模子的响应。咱们的孝敬包括开发一个历程，通过垄断行家反馈来生成定制的尺度列表。咱们通过为半导体行业边界生成尺度列表来阐述咱们历程的有用性。

值得强调的是，咱们的门径不仅适用于半导体边界，也适用于其他需要东说念主类专科学问的边界。在咱们建议的评估历程中，咱们起初从三个主要开始收罗了一组问题：来自咱们公司行家的 737 个问题、从 ResearchGate 论坛爬取的 150 个问题以及 ChatGPT 生成的 100 个一般问题。咱们的里面行家仔细审查并评估了每个问题，以确保其质料。经过审查，问题被分为三个难度级别：粗放、中等和贫困，如表 3所示。

此外，咱们的行家开发了一个内容（如第 3节所述），将问题的历程分为高档、次级和特定级别。临了，咱们垄断所有收罗到的问题和谛视，将它们输入 GPT-4o 和咱们的 SemiKong 模子中以生成开动谜底。

在东说念主机协同想法的基础上，咱们将其发展为行家协同框架。如图二所示，在这种门径中，行家会审查 LLM 生成的开动谜底。这些行家在其边界领有丰富的学问，他们不仅提供正确谜底，还会评估其他谜底的质料。这种双重能力使咱们概况生成基准测试的基技艺实，并抽象出一套尺度来率领 LLM 评估半导体行家模子。

为了结束这少量，咱们要求行家对谜底进行评分，并为他们的评分提供详备的意义。然后，机器学习研究东说念主员分析这些意义，制定一份全面的尺度清单，用于率领 LLM 对模子输出进行评分。主义是创建明晰、精准的尺度，使 LLM 概况作念出与东说念主类行家雷同的评估。这个过程是迭代的，字据行家的新数据谛视连接更新尺度，从而冉冉改进评估框架。在本文中，咱们将使用 LLM 评估半导体行家模子的尺度界说如下：

明晰径直 (C&D：Clarity and Directness )：此尺度触及使用喜闻乐道的说话，以确保谜底易于领会。这意味着幸免使用无谓要的术语或本事术语，因为这些术语可能会让读者感到困惑。它还要求在每个句子中径直不竭手头的问题或主题，保握对要点的热心。使用样式标记或编号列表组织信息不错进一步普及可读性并使关节点更容易领会。

实用性和即时可用性 (PIU：Practicality and Immediate Usability)：实用性和即时可用性触及提供既实用又易于实施的建议。这意味着要专注于明晰、可操作的门径而不是表面解释，确保率领径直适用于现实寰宇的情况。建议应切合施行并稳妥特定情况，使其可立即使用并与受众的需求关连。

收尾和简略 (E&B：Efficiency and Brevity )：收尾和简略包括摒除冗余信息并聚拢关连要点以幸免冗长。主义是保握信息简略，同期仍涵盖所有必要的细节，确保信息明晰、切中要点，无需无谓要的叙述。

逻辑历程和连贯性 (LFC：Logical Flow and Coherence)：逻辑历程和连贯性触及以明晰、适当逻辑的规则陈设要点，使谜底易于领会。这包括将关连要点归入明晰的类别，增强全体连贯性，并确保用户不错破坏领会念念想的进展。

行家对行家换取 (EEC：Expert-to-Expert Communication)：行家对行家换取触及将恢复定制为确认注解丰富的工程师向担任不异变装但确认注解较少的另别称工程师提供的引导或率领。这可确保对话成为不竭问题过程的一部分，重心热心高档想法和实用率领，而无需深入探讨行家听众无谓要的过于基础的解释。

使用示例和具体性 (UES：Use of Examples and Specificity)：使用示例和具体性是指仅在示例对解释具有关键价值时才提供示例。确保比较与要抒发的不雅点径直关连且长话短说。仅当本事术语对究诘至关关键时才引入它们，况且仅在要求保握明晰度和关连性时才对这些术语提供长话短说的解释。

5、实验收尾

5.1、结束细节

为了锤真金不怕火 Semikong，咱们使用了 8 个 NVIDIA A100 80GB GPU。咱们罢黜 Transformers HuggingFace、HuggingFace Accelerator 和 LLaMA-Factory 库的率领原则来微调 LLM。预锤真金不怕火和 SFT 的超参数包括批处理大小为 3、梯度蓄积门径为 3 和学习率为 1.0e-5。锤真金不怕火进行了 5 个时期，招揽余弦学习率调换圭表，预热率为 0.15。咱们启用了 FP16 进行搀杂精度锤真金不怕火，并分派了 20% 的数据集进行考证。咱们在微调中使用了 LoRA。

5.2、评估

为了评估微联合预锤真金不怕火的孝敬，咱们进行了实验来比较三种模子：Llama3、仅使用 SFT 的 SemiKong 和使用 SFT 进行预锤真金不怕火的 SemiKong。表 4显现了咱们实验的收尾。一般来说，仅进行微调并不成普及模子的性能。这标明通用模子枯竭边界特定学问。当模子经过预锤真金不怕火以学习更深入的学问时，模子的性能起初显现出改善的迹象。然则，为这个实验实施的模子唯有 8B 个参数，这铁心了学习模子学问的能力。因此，在接下来的实验中，咱们将对具有 70B 参数的更大模子进行实验，并仅对使用咱们建议的半导体数据集进行预锤真金不怕火的模子进行微调。

表5中的实验收尾 标明，具有 70B 参数的模子明显优于具有 8B 参数的模子。即使与咱们微调的 SemiKong 8B 模子比拟，基本 Llama3 70B 模子仍然优于它。基于这一不雅察，咱们的 SemiKong 70B 模子和实验收尾标明，咱们的门径在所有尺度上齐明显优于通用开源 Llama3 8B 和 Llama3 70B 模子。

为了阐述 SemiKong 的优厚性，咱们进行了实验，将其性能与交易家具进行比较。值得详确的是，SemiKong 是一个基础模子，不依赖于 RAG 等支握系统。如表 6和图 1所示，SemiKong 在 C&D 和 E&B 方针上提供了可比的性能，而在六个关节方针中的四个中，它阐扬出色：PIU、LFC、EEC 和 UES。这些方针关于笃定模子是否忻悦行家的需求至关关键。

总体而言，SemiKong 结束了最先进的性能，使其成为最稳妥行家使用的模子。它的即时应用的实用性、逻辑历程、幸免无谓要的信息以及提供简略准确谜底的能力恰是工程师日常职责所需要的。

6、论断和将来研究主义

在本文中，咱们先容了 SemiKong，这是第一个成心针对半导体行业的基础模子，有 8B 和 70B 两个版块。此外，咱们还公布了一个针对半导体应用量身定制的大范围数据集，其中包含预锤真金不怕火和微调数据。咱们还建议了一个半导体内容，旨在支握东说念主工智能研究东说念主员在半导体边界开展新的东说念主工智能研究。咱们的 SemiKong 模子仍是结束了最先进的性能，超越了开源基础模子，并在行家使用中超越了交易家具。

然则，SemiKong 仅仅初步努力，还有无数职责要作念。起初，基于咱们建议的内容，咱们不错进一步开发除蚀刻除外的其他工艺，使半导体东说念主工智能愈加全面，适用于半导体制造的各个阶段。其次，咱们的管说念不错适合和推广到其他行业，从而增强多个部门的工业运营。

https://www.tomshardware.com/tech-industry/artificial-intelligence/semikong-is-the-worlds-first-open-source-semiconductor-focused-llm-it-claims-to-bring-new-chips-to-market-30-percent-faster

https://www.marktechpost.com/2024/12/27/meet-semikong-the-worlds-first-open-source-semiconductor-focused-llm/

https://arxiv.org/html/2411.13802v2

半导体杰作公众号保举

专注半导体边界更多原创内容

热心全球半导体产业动向与趋势

*免责声明：本文由作家原创。著述内容系作家个东说念主不雅点，半导体行业不雅察转载仅为了传达一种不同的不雅点，不代表半导体行业不雅察对该不雅点赞同或支握，如若有任何异议，接待斟酌半导体行业不雅察。

今天是《半导体行业不雅察》为您共享的第3990期内容，接待热心。

『半导体第一垂直媒体』

及时 专科 原创 深度

公众号ID：icbank

可爱咱们的内容就点“在看”共享给小伙伴哦

尊龙体育网