什么是世界多胞體(World Polytope)呢?我給出的定義是,每一個世界中的事實(Fact),比如『在地球上,太陽從東邊出來』、『地球是太陽系中的行星』等等,都可以編碼為N維超空間里面的一個節點,記作V∈RN,那么假如當前世界有M個事實,構成了事實集合V={Vi,i=1,?,M},此時可以從事實集合里面提取出一個多胞體(凸包的N維擴展),記多胞體的節點集合為Vpolytope⊆V,可知Vpolytope是V的真子集,其組成的世界多胞體,如Fig 1的藍色區塊所示(此處為了繪圖方便,用二維圖形代表多胞體),可以認為是整個世界的知識邊界,在其之外是未知知識的空間,其中的淡藍色圓點表示可以通過世界多胞體節點集合內插(Interpolation)得到,在世界多胞體之內的知識,只要提供了世界多胞體的節點集合(也可以認為是整個世界的最小知識集合),我認為是可以通過大模型去學習然后內插得到其他知識的,最終大模型得以建模整個世界多胞體,我把這個大模型稱之為世界大模型(World Large Model)。當然,只提供最小知識集合,整個內插的學習會極其容易過擬合,因此需要提供世界多胞體的體內知識作為預訓練,以提高世界大模型的泛化能力,在這個語境下,其實就是提高世界大模型的內插能力。此處,我假設世界大模型是沒法進行外插(Extrapolation)的。
一旦有新的知識加入,而且新的知識是世界多胞體的體外知識,這意味著這個知識具有唯一性,不能通過現有的所有知識內插得到。待加入后,Vpolytope得到更新,從而更新整個世界多胞體,如Fig 1所示,此處新增的綠色區塊就是新增的新知識帶來的其他可內插推理得到的知識,這些知識我感覺也可以通過世界大模型推理得到,但是問題是,正確性是否可以通過大模型保證呢?
從這個視角看,我認為大模型具有提高探索知識內插的能力,但是探索新的知識邊界,可能還是需要人類的助力,以后人與大模型的合作關系,可能是兩種:
- 人類探索知識邊界,而大模型負責知識內插,得到更多具有洞見的知識從而啟發人類,人類基于這些洞見可能又能繼續發現新的知識,從而整個世界多胞體得到進一步的延展。
- 人類驗證世界大模型內插得到的知識的正確性,優化世界大模型的內插能力。
Fig 1. 藍色區塊的當前的世界多胞體,新增的V0可以構成新的世界多胞體,從而帶來更多的知識,如綠色區塊所示。