高視AI大模型GoMind-LVM V1.0 正式發(fā)布
一、背景 -- 工業(yè)AI質(zhì)檢

隨著中國制造業(yè)的快速發(fā)展,工業(yè)質(zhì)檢的智能化升級成為了行業(yè)關(guān)注的焦點。2023年,中國制造業(yè)增加值規(guī)模達(dá)35.2萬億元,占GDP比重28.1%,較2021年有所增長。制造業(yè)的數(shù)字化、智能化轉(zhuǎn)型也在全面提速,重點領(lǐng)域關(guān)鍵工序數(shù)控化率達(dá)57.8%,數(shù)字化研發(fā)設(shè)計工具普及率達(dá)76.5%。國家多部委聯(lián)合印發(fā)的《關(guān)于以制造業(yè)為重點促進(jìn)外資擴(kuò)增量穩(wěn)存量提質(zhì)量的若干政策措施》,進(jìn)一步推動了制造業(yè)的發(fā)展。
然而,工業(yè)質(zhì)檢智能化升級過程中仍面臨諸多挑戰(zhàn)。首先,數(shù)據(jù)缺陷和樣本缺乏是一個主要問題。缺陷樣本數(shù)據(jù)量的不足會提高技術(shù)應(yīng)用的門檻,使得AI系統(tǒng)難以進(jìn)行準(zhǔn)確的缺陷識別和學(xué)習(xí)。其次,技術(shù)準(zhǔn)確性、泛化能力需要進(jìn)一步提高。在AI賦能的質(zhì)檢場景中,提升缺陷識別的準(zhǔn)確率和降低誤檢率是關(guān)鍵,以減少企業(yè)的人力成本。此外,技術(shù)推廣和應(yīng)用也面臨挑戰(zhàn)。工業(yè)互聯(lián)網(wǎng)作為支撐制造業(yè)智能化轉(zhuǎn)型的重要組成部分,還需要加快核心技術(shù)產(chǎn)品的攻關(guān)和推廣,以支撐完整的工業(yè)互聯(lián)網(wǎng)生態(tài)。
盡管面臨這些問題,市場對工業(yè)質(zhì)檢智能化升級的需求依然強(qiáng)烈。90%的制造企業(yè)正在推進(jìn)工業(yè)互聯(lián)網(wǎng)建設(shè),預(yù)計到2025年,工業(yè)互聯(lián)網(wǎng)市場規(guī)模將達(dá)到3萬至3.5萬億元。未來,隨著技術(shù)的不斷進(jìn)步和政策的持續(xù)支持,工業(yè)質(zhì)檢的智能化升級將為中國制造業(yè)的高質(zhì)量發(fā)展奠定更加堅實的基礎(chǔ)。
二、高視大模型架構(gòu)

高視科技從數(shù)據(jù)獲取入手,利用圖像視覺技術(shù)和先進(jìn)光學(xué)技術(shù)等手段,確保對產(chǎn)品和產(chǎn)品缺陷的科學(xué)、統(tǒng)一度量。我們建立了基于工業(yè)大數(shù)據(jù)的人工智能平臺,打造了工業(yè)視覺通用大模型GoMind-LVM,以構(gòu)建通用化的制造能力。此外,我們還研發(fā)了一系列核心軟件和算法,基于此,我們推出了GoMind/GoInfo云平臺,實現(xiàn)了數(shù)據(jù)管理和質(zhì)量管理,形成了智能工廠管理、智能視覺裝備、智能視覺器件、智能視覺系統(tǒng)等行業(yè)級智能化產(chǎn)品。
在數(shù)據(jù)集方面,我們通過多年的深耕積累,已經(jīng)建立了龐大的億級工業(yè)數(shù)據(jù)集,其中精細(xì)標(biāo)注的數(shù)據(jù)達(dá)到上百萬條。這些數(shù)據(jù)涵蓋了多個行業(yè),為我們構(gòu)建數(shù)據(jù)模型奠定了堅實基礎(chǔ)。未來,我們計劃擴(kuò)大數(shù)據(jù)集,將精細(xì)標(biāo)注的目標(biāo)數(shù)量提升至千萬級規(guī)模,這將成為我們下一步工作的重中之重,也是進(jìn)行大模型訓(xùn)練的關(guān)鍵基礎(chǔ)。我們開發(fā)了專注于服務(wù)工業(yè)的大模型GoMind-LVM,通過分層開發(fā)方法,構(gòu)建了基礎(chǔ)大模型,以及針對特定行業(yè)應(yīng)用的工業(yè)缺陷生成模型、工業(yè)缺陷輔助標(biāo)注模型和工業(yè)缺陷檢測模型。基于這些模型,我們形成了服務(wù)不同行業(yè)和檢測場景的專用模型,實現(xiàn)了高效快速的檢測。
圖中展示了工業(yè)缺陷生成行業(yè)大模型的缺陷檢出展示。通過該模型,我們能夠在短短一個小時內(nèi),從一張樣本圖像生成上萬張仿真缺陷圖像,提高了缺陷生成效率80%。這種方法在獲取缺陷樣本方面非常有效,尤其在難以獲取缺陷樣本的情況下。我們對輔助標(biāo)注大模型與市場上其他產(chǎn)品進(jìn)行了對比,并對模型進(jìn)行了優(yōu)化,顯著提升了分割的精確度,提高了效率200%,幫助我們快速進(jìn)行產(chǎn)品標(biāo)注。關(guān)于工業(yè)領(lǐng)域缺陷檢測大模型,能夠基于現(xiàn)有信息實現(xiàn)一分鐘跨場景應(yīng)用檢測,極大地提高了模型的通用性和實用性。
三、高視大模型流程

在工業(yè)質(zhì)檢智能化升級的過程中,高視大模型流程展示了從數(shù)據(jù)采集到模型部署的全流程優(yōu)化。通過先進(jìn)的圖像視覺技術(shù)和工業(yè)大數(shù)據(jù)平臺,我們構(gòu)建了GoMind-LVM大模型分級流程,根據(jù)使用場景,分為L0云端大模型,L1行業(yè)大模型和L2本地大模型,旨在提升質(zhì)檢效率和準(zhǔn)確性。
首先,在場景化模型開發(fā)階段,我們利用圖像視覺技術(shù)和先進(jìn)光學(xué)技術(shù),確保對產(chǎn)品和產(chǎn)品缺陷的科學(xué)、統(tǒng)一度量,進(jìn)行數(shù)據(jù)的采集和標(biāo)注,結(jié)合L0云端大模型能力生成L1行業(yè)大模型,再通過蒸餾等技術(shù)手段提煉出來L2本地大模型,可以下發(fā)到現(xiàn)場進(jìn)行模型迭代并上線穩(wěn)定使用,保證現(xiàn)場AI模型使用的推理效率與生產(chǎn)節(jié)拍。
通過這一流程,樣本收集和標(biāo)注時間減少了80%,極大地提高了數(shù)據(jù)獲取的效率,確保了模型在訓(xùn)練后不僅具備高度的靈活性,同時也擁有廣泛的適用性和泛化能力。對于工藝流程相似的質(zhì)量檢測任務(wù),基于GoMind-LVM大模型,利用一鍵遷移和自適應(yīng)微調(diào)技術(shù),實現(xiàn)了快速換型的能力,大大縮短了訓(xùn)練時間至幾小時內(nèi),有效克服了由于缺陷形態(tài)多樣性和產(chǎn)品型號頻繁更換導(dǎo)致的模型泛化問題。
在模型部署方面,GoMind-LVM大模型的部署效率提升了85%,使得模型能夠快速應(yīng)用于實際生產(chǎn)環(huán)境中。此外,模型迭代過程中所需的人力節(jié)省了70%,顯著降低了人力成本。通過云端管理平臺,我們實現(xiàn)了模型的高效管理,模型管理效率提升了90%,確保了模型的持續(xù)優(yōu)化和更新。
圖中展示了高視大模型流程的具體步驟,從工廠本地的數(shù)據(jù)采集和處理,到高視云端平臺的模型訓(xùn)練和部署,整個流程無縫銜接,確保了質(zhì)檢過程的高效和準(zhǔn)確。通過這一智能解決方案,我們不僅提升了質(zhì)檢效率,還大幅度節(jié)省了資源,為工業(yè)質(zhì)檢的智能化升級奠定了堅實的基礎(chǔ)。
四、基于高視大模型的質(zhì)量閉環(huán)設(shè)計

在質(zhì)量閉環(huán)方面,我們借助先進(jìn)的大模型AI技術(shù),結(jié)合現(xiàn)有的質(zhì)量管理軟件,創(chuàng)造了GoMind + Goinfo智能體的工業(yè)質(zhì)量管理系統(tǒng)。這一系統(tǒng)實現(xiàn)了數(shù)據(jù)的全自動收集、模型的調(diào)整和部署,將原本繁瑣的手動數(shù)據(jù)處理工作轉(zhuǎn)變?yōu)楦咝У淖詣踊鞒獭_@項技術(shù)使工廠能夠在不中斷生產(chǎn)的情況下進(jìn)行模型優(yōu)化,顯著提升了生產(chǎn)效率。我們還取得了一系列成功案例,如協(xié)助半導(dǎo)體Sic晶圓制造行業(yè)實現(xiàn)了AI+AOI閉環(huán)全流程,成功將過檢率和漏檢率控制在0.1%以內(nèi)。另外,我們?yōu)閅客戶實現(xiàn)了多廠聯(lián)通的質(zhì)量管理,合作效率提升了50%以上。對于H客戶的項目,我們實現(xiàn)了從原材料到最終產(chǎn)品整個供應(yīng)鏈的質(zhì)量聯(lián)通,實現(xiàn)智能質(zhì)量管理。總的來說,我們在推動整個視覺檢測和智能檢測領(lǐng)域做出了大量努力。特別是在過去兩年中,我們已經(jīng)成功落地10個項目,為25家客戶創(chuàng)造了總產(chǎn)值約2.5億的價值。隨著大模型技術(shù)的不斷發(fā)展和成熟,我們將繼續(xù)助力智能檢測產(chǎn)業(yè)快速覆蓋更多工業(yè)場景、行業(yè)和地區(qū),走向國際舞臺。
五、高視AI大模型行業(yè)應(yīng)用案
隨著IC制程工藝發(fā)展,檢測量測重要性越發(fā)凸顯。集成電路發(fā)展幾十年來,工藝生產(chǎn)實現(xiàn)了高度自動化,但傳統(tǒng)方式的半導(dǎo)體制程控制與良率管理瓶頸明顯,比如有些工藝段仍然仍需大量投入人工Review和復(fù)判。而半導(dǎo)體缺陷種類多、工藝種類多,管理過程面臨成本高、耗時長、不客觀、溯源難等問題。在檢測量測設(shè)備層面,應(yīng)用大規(guī)模深度學(xué)習(xí)可以更好地建立以缺陷分類和分析(ADC)為核心的制程控制與良率管理,能夠更早發(fā)現(xiàn)半導(dǎo)體工藝中的缺陷、有效缺陷分類與分析。
基于大規(guī)模深度學(xué)習(xí)系統(tǒng),高視科技推出了GoMind-ADC(Automatic Defect Classification)產(chǎn)品系統(tǒng),并在客戶端得到良好應(yīng)用和規(guī)模落地。從IGBT工藝、到先進(jìn)封裝工藝、到前道檢測都有覆蓋。GoMind-ADC 2.0 產(chǎn)品運(yùn)用人工智能(AI)及機(jī)器學(xué)習(xí)技術(shù),基于高視行業(yè)大模型GoMind-LVM, 搭配高效能的GPU計算能力,根據(jù)AOI設(shè)備或高分辨率缺陷檢 視系統(tǒng)輸出的圖片或文件信息,依據(jù)Defect Code進(jìn)行缺陷分類,可以將在生產(chǎn)過程中產(chǎn)生的不良問題,例如不良種類、 不良大小、位置等,進(jìn)行綜合計算和缺陷的自動分類;對一 些干擾因素,如環(huán)境干擾、設(shè)備故障等進(jìn)行及時修正和改善, 避免不良品的繼續(xù)產(chǎn)生。同時,也為后續(xù)的復(fù)判(Review)、返工(Rework)等操作提供指 導(dǎo),提高效率,降低整個系統(tǒng)的不良率,及時減少復(fù)判和返工的工作量,顯著提升缺陷辨識率、缺陷分類正確率。

例如在前道檢測領(lǐng)域,高視科技就已積累了大量KnowHow數(shù)據(jù),缺陷圖像樣本量達(dá)到千萬張級別,為展開大型深度神經(jīng)網(wǎng)絡(luò)的研發(fā)提供了基礎(chǔ)。同時,GoMind-ADC系統(tǒng)實現(xiàn)了創(chuàng)新的工業(yè)缺陷檢測大模型,實現(xiàn)了Transformer模型應(yīng)用和深度研發(fā),在具體檢測效果上實現(xiàn)了漏報與誤報的大幅下降,保障了AI算法的魯棒性和可擴(kuò)展能力,尤其是在跨產(chǎn)品和跨設(shè)備上,GoMind-ADC仍然實現(xiàn)90%以上的分類準(zhǔn)確率,系統(tǒng)展示了其大模型的卓越強(qiáng)悍遷移能力,是一般傳統(tǒng)AI算法的5倍左右。
通過數(shù)據(jù)積累、標(biāo)準(zhǔn)定義和大模型訓(xùn)練三大步驟,高視科技的ADC解決方案極大提升了晶圓制造行業(yè)的檢測效率,將交付周期從90天縮短至14天,已導(dǎo)入超過 50個工廠,累計升級設(shè)備數(shù)超過200臺,Top30的客戶覆蓋率達(dá)到70%以上。
