小紅書變了。

你以為它還在“美妝”、“穿搭”，但現(xiàn)在在社交媒體上，關于小紅書的不少說法畫風卻有些令人意外。

儼然有了那么一點“搜索引擎”的味道。

這是發(fā)生了甚么事？

扒了扒數據，我們發(fā)現(xiàn)，去年一年，小紅書科技數碼內容同比增長500%、體育賽事同比增長1140%，美食類消費DAU甚至一度超過美妝。

而在小紅書的首頁，下拉菜單中的品類標簽已經多達30多個。做菜教程、居家指南、戶外露營、旅游攻略、考研考公甚至是創(chuàng)業(yè)，其內容之廣泛，早已遠超當年安身立命的美妝賽道。

更有意思的一個數據是，小紅書此前對外披露，有高達30%的用戶進入到小紅書之后會直接進行搜索。

也就是說，不斷泛化的UGC內容正在不斷沖擊突破小紅書的社區(qū)內容版圖，而隨之而來的用戶行為，也已完全不同于外界對小紅書的固有想象。

從外界看去，小紅書的變化不可謂不大。從內部技術的角度出發(fā)，面臨的挑戰(zhàn)其實也正在成倍遞增。

內容泛化和高頻搜索，加上圖片、文字、視頻等不同模態(tài)內容混雜，對搜索和推薦優(yōu)化來說都提出了更高的要求。

再者，互聯(lián)網用戶對于內容質量的要求日益提升，要求平臺、機器能更進一步把握用戶心理的需求始終都在增長。

所以，背后愈加復雜的搜索、推薦機制，應該如何應對？

內容社區(qū)的多模態(tài)挑戰(zhàn)

作為為數不多的大量圖文+短視頻混雜的內容社區(qū)，小紅書給出的關鍵詞是：多模態(tài)學習。

所謂多模態(tài)，指的是文本、圖像、聲音等不同的信息表現(xiàn)形式。

而多模態(tài)學習，要做的就是建立起能把不同類型信息結合起來的統(tǒng)一模型。

簡單來說，一旦AI能夠將不同形態(tài)的信息，如圖像和文字融會貫通，就能在“理解”這件事上更進一步。

也就能達成這樣的效果：

讓AI根據“空中天使，虛幻引擎效果”的提示作畫，AI會給出如下答案。

如果說AI看文作畫還只是讓人覺得“不明覺厲”，多模態(tài)技術對于互聯(lián)網產品更實際的意義究竟在何處？

就在最近，小紅書技術團隊舉辦的一場對外的AI公開課，就分享了他們在多模態(tài)算法上的探索。從中恰好可以一窺當前學術界熱度正酣的“多模態(tài)學習” + 擁有海量UGC內容的內容社區(qū)會產生怎樣的化學反應。

多模態(tài)搜索

先來看搜索。

在打開小紅書搜索結果頁時，App還會給用戶推薦更多相關的搜索詞：

以往，這些查詢詞是純文本的形式。

而在應用多模態(tài)技術之后，現(xiàn)在，這些查詢詞多了一層更美觀且有關聯(lián)性的“底圖”。也就是說，AI會自動篩選出與查詢詞相匹配的圖案，并在搜索結果界面展示給用戶。

別看只是這么一個簡單的改變，小紅書多模算法組負責人湯神透露，加入該功能后，UVCTR（獨立訪客點擊率）和PVCTR（頁面瀏覽量點擊率）提升了2-3倍。

除此之外，多模態(tài)技術在搜索中的另一重點體現(xiàn)，就是以圖搜圖。

有關商品、植物花卉等特定物品的圖片搜索，并不鮮見。不過，如果用戶想要搜索的是某種氛圍感、某種整體風格呢？

這實際上是給AI提出了一個新的挑戰(zhàn)：復雜環(huán)境下的物體檢測與識別。

△搜表情包

為了解決這個問題，小紅書技術團隊以三個核心模塊實現(xiàn)了離線構建和在線索引的能力：

前置模塊

特征大規(guī)模檢索

排序模塊

在前置模塊中，技術團隊研發(fā)了多種多模態(tài)標簽，覆蓋目標檢測、主題識別、商品屬性、人體屬性等諸多維度。

在特征模塊中，技術團隊通過基于Norm Classifier的多任務學習，解決了召回結果類目不一致的問題。

在排序模塊中，技術團隊利用OCR以及標題中抽取出的品牌詞等NLP相關信息，進行多模態(tài)信息集成，顯著提升了檢索準確率。

內容質量評價體系

而如果說搜索的變化更容易被看見，多模態(tài)技術在內容質量評價中的應用，則在更深層次上影響著小紅書的整體“畫風”。

去年7、8月份開始，在給各種筆記打類目標簽、構建純分類多模態(tài)系統(tǒng)的基礎上，小紅書技術團隊開始更多關注到筆記內容質量評價體系的建立。

也就是說，讓AI學會去判斷什么樣的筆記更“有用”、更具美學價值。

為此，小紅書技術團隊列舉了兩個比較核心的基礎原子能力：

封面圖畫質美學模型

多模態(tài)筆記質量分模型

前文提到的搜索推薦詞底紋圖片，其實也是基于這樣的基礎能力實現(xiàn)的。另外，依托于這套內容質量評價體系，還能實現(xiàn)圖文、視頻等不同種類筆記的結構化，搜索結果頁的去重等等優(yōu)化功能。

說了這么多，簡單總結一下，多模態(tài)技術在業(yè)務場景中的應用，對于小紅書最大的影響就是：讓優(yōu)質的內容能更容易被需要的人看到，讓呈現(xiàn)在用戶眼前的整體畫風和內容審美得到提升。

如此一來，對于一個以UGC為主的社區(qū)來說，用戶與內容生產者之間的正向循環(huán)也就更容易達成，對于整體的社區(qū)氛圍而言無疑是有利的。

這也正是其筆記內容越來越多元，用戶構成越來越多元的關鍵所在。

小紅書為什么會變？

前文已經說到，小紅書“畫風”的優(yōu)化，與當下整個互聯(lián)網工業(yè)界的技術新趨勢不無關系。

現(xiàn)在，圖文內容和短視頻內容在社交媒體上已然成為主流，而傳統(tǒng)的單一模態(tài)，顯然已經難以完整描述這些文本、圖像、聲音交匯的信息。

融合多個模態(tài)的特征信息，逐漸成為各種實際應用場景，尤其是搜索、推薦等對內容理解有著高要求的領域中普遍存在的新挑戰(zhàn)。

而小紅書本身在場景和業(yè)務角度，早已具備關鍵條件和迫切需求。

首先，從場景角度來看，小紅書上發(fā)布的內容以圖文和視頻為主，天然擁有海量多模態(tài)數據。

并且，這些多模態(tài)數據背后，還配套有豐富的用戶反饋數據。

其次，業(yè)務高速發(fā)展中的小紅書會面臨各種corner case。比如用戶發(fā)布的內容，不僅涵蓋美食、美妝、家居、科技產品等等諸多不同的類目，還可能出現(xiàn)只有圖片的沒有文字的筆記、圖片+音樂的筆記、沒有標題的短視頻等等情況。

而這些新的挑戰(zhàn)和獨一無二的多模態(tài)應用場景，也恰恰給多模態(tài)技術的落地提供了充足的空間。

從對內滿足業(yè)務需求到對外輸出

實際上，為了應對用戶需求的變化，小紅書內部技術的積累展開得更早。并且如今已經發(fā)展到了一個從對內滿足業(yè)務需求，到對外實現(xiàn)技術輸出的新階段。

比如今年，小紅書技術團隊就中了2篇CVPR論文，分別涉及視頻檢索和視頻內容理解。

而就在這兩天，小紅書還對外開啟了“AI公開課”，上海交大、北航、上科大的博導教授都參與其中，著實吸引了不少來自學界的關注。

這場名為“REDtech來了”的線上直播，主題正是關注多模態(tài)在學界和工業(yè)界的最新發(fā)展趨勢。

在4月20日舉辦的上半場活動中，北京航空航天大學教授、博導劉偲，上?？萍即髮W信息學院副教授、博導高盛華，上海交通大學電子信息與電氣工程學院副教授、博導謝偉迪，以及小紅書多模算法組負責人湯神，圍繞多模態(tài)內容理解展開技術分享。

除了前文提到的小紅書多模態(tài)技術實踐詳情，還有“AI+音樂”、“跨模態(tài)圖像內容理解和視頻生成”，以及“自監(jiān)督學習在多模態(tài)內容理解中的技術與應用”等諸多干貨分享。

而針對當前多模態(tài)研究的產學研現(xiàn)狀，大咖們也分享了不少精彩觀點。

謝偉迪老師談到：

“每個模態(tài)中含有不同的不變性和共存性。例如，在文字中，當我們提及“吉他”，它可能對應著視覺中的成千上萬種不同樣子的吉他。我們聽見狗叫的時候，很大概率也會在視覺上看見狗。

因此，合理地利用不同模態(tài)數據的特性進行協(xié)同訓練，能夠實現(xiàn)更加高效的表征學習，向下游推理任務進行泛化。”

“弱相關的數據集，就是相關性問題，并沒有弱相關的問題，如果做機器學習的話，一定是從輸入到輸出，中間就是學了一些function而已。”

“模態(tài)之間的不對齊一定不是弱相關，一定是會有很強的相關性，不然的話，網絡學不出來。當然我們現(xiàn)在想嘗試去做因果性，大部分我們認為的因果性，很多都是由相關性來決定的?！?/p>

當然啦，除了內容理解，隨著多模態(tài)學習研究熱潮而備受關注的，還有AI內容創(chuàng)作，也就是包括數字人技術在內的多模態(tài)人機交互。

比如最近，就有一個名為“Dream by WOMBO”的AI看文作圖工具，連續(xù)多日登上Apple Store圖形和設計區(qū)榜第一。

而這也正是小紅書在探索的另一大多模態(tài)技術方向。

關鍵詞： 小紅書技