企業網站設計預處理模塊的構成

發布：2019-10-09 16:01:53 瀏覽：7509

預處理模塊的構成。預處理模塊由三個子模塊構成,分別是頁面抓取、文本內容提取、關鍵字提取。頁面抓取的主要功用是讀取用戶信息庫中儲存的行為信息,分析用戶興趣所在,抓取相對應的頁面。文本內容提取,其主要功能是將抓取到的頁面信息進行過濾,去除不相關的信息,提取與頁面主題相關聯的內容,并將其以文本文件的形式保存至數據庫,便于用戶觀看與查找。關鍵字提取,該項子功能模塊會將用戶行為信息進行分詞,將文本中的內容以詞條形式顯示,并計算每個詞條的重要性,依此排序,選出與詞條相關的內容。