十倍雪道

科技宅男- OpenAI

在群組中的朋友相信已經記得我無數次提及 OpenAI ,現在終於下定決心寫一篇文章介紹 。

圖片來源: OpenAI

OpenAI 於 2015年成立,而其中一個創辦人則為現今世界首富 – Elon Musk。但因為 OpenAI 與 Tesla 的 AI 有潛在利益衝突,因此在2018 年 Elon Musk 退出 OpenAI 董事會。

Open AI 的目標是通過與其他機構和研究者的自由合作,向公眾開放專利及研究成果,從而減低使用人工智能的風險。

2019年 Microsoft 投資 OpenAI 10億美元,並於 2020年取得 OpenAI 最新GPT-3語言模型的獨家授權。

OpenAI 被譽為是 Google 旗下公司 Deepmind (幾年前開發 AlphaGo 打響名堂的公司) 的最大對手。

過往人工智能一直被人認為只能在單一領域中發展及使用,難以將機器學習成果轉移並應用至其他領域,但隨著語言模型及科技的進步,其中一個人工智能的發展趨勢就是「通用人工智能」,現在最新的人工智能其實已經能夠運用學習成果同時在多個領域中提供服務。

先讓大家感受一下 OpenAI 的可怕之處,人工智能現在已經可以做到與人類自由交流。


OpenAI 暫時有三個版本的語言模型,分別是 GPT-1, GPT-2 以及最新的GPT-3 。

圖片來源: OpenAI

而本文會主要探討 GPT-3 的原理及實例。

GPT 全名為 Generative Pre-trained Transformer。顧名思義,此語言模型在推出前已經被大量的數據訓練。

而 GPT-3 模型已經從多個來源(包括維基百科和書籍)接受了大約 45 TB 文本數據的訓練。

要知道 GPT-2 模型 的訓練數據量只是 40 GB ,可想而知 GPT-3 的提升有多可怕。

GPT-3 使用「In-context learning」的形式作訓練,是指訓練的過程中不為特定任務作微調或限制,而讓系統模型能夠從文本數據的上下文自行了解規律及訓練,並預測下一個文字及單詞。

圖片來源: https://jalammar.github.io/how-gpt3-works-visualizations-animations/

當預測錯誤時,系統模型會自我修複,經過過百萬次重複訓練,就能確保系統模型的準確性。

圖片來源: https://jalammar.github.io/how-gpt3-works-visualizations-animations/

閱讀完一大段艱辛又難明的原理後,相信大家都想知道 OpenAI GPT-3 到底在現實生活中有何用處。

1. 自動生成臉孔

只需輸入簡單條件,就能建構出極為真實的人像臉孔


2. 自動生成網頁程式碼

只需輸入你想要的網頁內容,系統即可自動產生網頁程式碼 (https://debuild.co/)


3. 數據預測及處理

即使對 Excel 一竅不通,GPT-3 亦能自動幫你處理數據。


4. 自動生成文章

英國The Guardian 衛報 (並不是世衞報章) 曾使用 GPT-3 完整生成一篇文章。

https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3


5. 會計自動化

沒有會計相關知識亦能透過 GPT-3 處理會計報表


當然,被譽為當今世上最強的人工智能,GPT-3 的能力遠遠不止於此

如果有興趣了解更多使用實例,歡迎瀏覽 https://gpt3examples.com/#examples


OpenAI 現亦提供 API 供學術用途使用,如果有興趣亦可到 https://openai.com/blog/openai-api/ 登記。

OpenAI 一開始以非牟利形式營運,但 Microsoft 取得 GPT-3 的獨家授權後會否在不久的將來以 API 形式收費提供服務則屬未知之數。

要論商業化的 AI ,當然不可不提 Palantir。

出文的時間距離 Palantir 的Demo Day 尚餘幾日,個人認為各位可以透過 OpenAI 了解 AI 系統模型的原理及應用,從而對 Palantir 的系統能有初步估計及預測。

同時在近日,Google 亦提出最新語言模型 Switch Transformer,直接把本文的 OpenAI GPT-3 比下去,但該論文比較複雜,我仍需要一段時間詳細研究,希望日後有機會再介紹。


最後,我記得過去主流曾經認為程式設計員這個職業是其中一個最難被 AI 取代的職業,但從上文可見,即使程式設計員也可能難以與 AI 在職場上競爭。我認為在未來,只有學會與 AI 共存,同時做到不斷自我增值,了解社會潮流及趨勢,迎合市場需要,才能保持自己在社會上的競爭力。


參考資料:
https://tinyurl.com/y3ccze54
https://tinyurl.com/y5l5wjzw
https://tinyurl.com/yy9atkq5
https://tinyurl.com/yyeugt64

關於此作者

科技宅男
科技宅男

一個熱愛科技的宅男,在此分享科技的新奇熱事及軟件教學,歡迎大家互相交流。

加入留言

十倍雪道