20世紀50年代

NLP的早期研究主要基于規則的方法，依賴于語言學專家手工編寫的規則和詞典。這些規則通常是關于語法、語義和句法結構的人工規則。

例如一個簡單的陳述句通常遵循“主語 + 謂語 + 賓語”的結構，每一個陳述句都以這種規則做標記。

那時候的NLP就像個剛學步的小孩，靠的是一堆人工的規則，就像小時候學說話，需要一個字一個字地學，學完單詞學語法。

20世紀70年代

隨著時間的推移，20世紀70年代隨著計算能力的提升和數據的積累，NLP開始轉向基于統計學的方法。這些方法依賴于大量的文本數據，通過統計模型來捕捉語言模式，而非手工制定規則。統計方法開始重視詞語的共現關系，并通過概率推斷來實現語言處理任務。

NLP開始用大數據來學習語言的規律，就像你長大了，通過聽周圍人說話來學習新詞匯和表達，但是對于你來說每個單詞都是獨立的，相互沒有關系。

2013年

2013年，基于嵌入embedding的NLP方法被發明，通過將詞語、短語、句子等語言元素映射到高維的連續向量空間中，這些向量捕捉了詞語之間的語義關系，使得模型能夠更好地理解和處理語言。

就像用表情符號來表達情感一樣，表情是人類語言的抽象，這些向量能捕捉詞語的意思和關系。

同年Encoder-decoder的模型結構被發明，為后續的序列到序列（Seq2Seq）模型奠定了基礎，至此命運的齒輪開始轉動。

2017年

2017年，"Attention is all you need"論文的發表標志著Transformer模型的誕生，它在上一個階段詞嵌入的基礎上，基于自注意力機制的模型，它徹底改變了NLP領域的模型設計和訓練方式。

Transformer模型通過多頭注意力機制和位置編碼，有效地處理了序列數據，提高了模型的并行處理能力和性能。它用自注意力機制讓模型能同時關注句子中的所有詞，就像你在聊天時，能同時關注群里每個人的發言。

隨后，基于Transformer架構的BERT和GPT等模型相繼出現，它們通過預訓練和微調的方式，在多種NLP任務上取得了突破性的性能。

2022年

之后的故事大家都很熟悉了，2022年chatgpt橫空出世，大模型的涌現一發不可收拾。你知道他們為什么叫大模型嗎？是因為這些模型的參數量已經達到了百億甚至千億級別！

AI體系化學習路線

學習資料免費領

【后臺私信】AI全體系學習路線超詳版+100余講AI視頻課程 +AI實驗平臺體驗權限

全體系課程詳情介紹