隨著互聯(lián)網(wǎng)的興起和普及，在線調(diào)查迅速普及。在線調(diào)查是指通過互聯(lián)網(wǎng)及其調(diào)查系統(tǒng)將傳統(tǒng)的調(diào)查、分析方法在線和智能化，兩者之間沒有本質(zhì)區(qū)別。然而，在樣本選擇、質(zhì)量控制等方面，我們?nèi)匀幻媾R著許多新的問題。

由于在線調(diào)查的門檻低、成本低、方便，越來越多的非專業(yè)調(diào)查機構(gòu)也開始采用在線調(diào)查的方法，導(dǎo)致調(diào)查結(jié)果質(zhì)量差異巨大，公眾認知混亂。其中，最常見的是各種商業(yè)網(wǎng)站進行的調(diào)查，以吸引注意力。這些網(wǎng)站使用網(wǎng)絡(luò)簡單的編程方法來生成問卷頁面，用戶在瀏覽頁面時回答問卷，并生成簡單的調(diào)查結(jié)果。無論誰能來參與調(diào)查，對調(diào)查對象沒有篩選，自然沒有代表性。此外，許多網(wǎng)站都設(shè)置了設(shè)置，一個人可以多次參與答案，不排除重復(fù)率。這樣的調(diào)查，有時答案的數(shù)量在數(shù)萬或數(shù)十萬之間，但由于偏離了調(diào)查的科學(xué)性質(zhì)，不僅毫無意義，甚至誤導(dǎo)了公眾輿論。

為了確保數(shù)據(jù)的真實性，專業(yè)的在線調(diào)查公司將采用抽樣方法。被提取的受訪者將收到一封電子郵件，包括問卷URL地址，并單擊地址。只有在篩選出各種問題后，他們才能開始回答專業(yè)的問卷調(diào)查。受訪者的背景信息、提供數(shù)據(jù)的質(zhì)量和操作過程的標(biāo)準(zhǔn)化程度都得到了嚴格控制。因此，專業(yè)的在線調(diào)查機構(gòu)通常不使用隨機樣本，而是建立和擁有自己的樣本庫。

在線樣本一般可分為概率樣本和非概率樣本。概率樣本庫（Proba更新）采用隨機抽樣招募樣本庫成員，可覆蓋不在線人群，非概率樣本庫成員采用自愿在線招募，只能覆蓋在線人群，所以這兩個樣本庫在人口特征上有系統(tǒng)性差異，目前使用的在線樣本庫主要是非概率樣本，概率樣本庫的比例較小。

在當(dāng)前中國國情下，建立概率樣本庫，并在此基礎(chǔ)上開展各種不同方法的研究，是實施高精度研究的有效途徑。首先，概率樣本庫可以通過隨機抽樣的方式招募樣本庫的成員，并覆蓋接入互聯(lián)網(wǎng)的人口，從而最大限度地保證與實際人口構(gòu)成的平衡；其次，概率樣本庫可以用于網(wǎng)絡(luò)調(diào)查，也可以用于面對面調(diào)查和調(diào)查各種特定條件。為了優(yōu)化成本和效率，網(wǎng)絡(luò)調(diào)查通常是針對互聯(lián)網(wǎng)用戶進行的，而不是針對互聯(lián)網(wǎng)用戶進行訪問或提供互聯(lián)網(wǎng)設(shè)施來彌補。

中國的互聯(lián)網(wǎng)用戶數(shù)量已經(jīng)達到7億，一些重大輿論事件往往有數(shù)千萬用戶參與。無論是發(fā)帖、轉(zhuǎn)發(fā)、喜歡還是閱讀、搜索，都構(gòu)成了輿論大數(shù)據(jù)。

雖然學(xué)術(shù)界和行業(yè)尚未形成對大數(shù)據(jù)的統(tǒng)一定義，但總體而言，大數(shù)據(jù)通常有四個要素，也稱為4V，即海量（Volume）、快速（Voluty）、多樣化（Volue）和價值（Volue），也就是說，數(shù)據(jù)量是前所未有的，并以非?？斓乃俣炔粩嗌?。數(shù)據(jù)的形式多種多樣，結(jié)構(gòu)化數(shù)據(jù)只占一小部分，大多數(shù)是半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)[2]。在這種背景下，只有有能力從海量數(shù)據(jù)中快速捕獲和分析數(shù)據(jù)，大數(shù)據(jù)才能產(chǎn)生價值。否則，這只是一個累積的數(shù)據(jù)垃圾。

網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)是利用數(shù)據(jù)采集和挖掘技術(shù)，對非結(jié)構(gòu)化互聯(lián)網(wǎng)大數(shù)據(jù)進行輿情挖掘和判斷的一種主要手段。一般的輿情監(jiān)控系統(tǒng)都包括兩個主要功能。一種是信息自動采集功能，主要是通過網(wǎng)頁之間的鏈接關(guān)系，從網(wǎng)上自動獲取網(wǎng)頁信息，并隨著鏈接不斷擴展到整個網(wǎng)絡(luò)。新的技術(shù)突破點是社交媒體信息采集和音頻視頻信息的捕獲。二是輿論分析引擎功能，涉及的主要技術(shù)包括文本分類、聚類、視角傾向識別、主題檢測跟蹤、自動摘要等計算機文本信息內(nèi)容識別技術(shù)和音頻視頻識別技術(shù)。

輿論分析引擎的作用是全部監(jiān)控系統(tǒng)的關(guān)鍵，通常包含下列好多個層面。①標(biāo)識作用。熱點話題，比較敏感話題標(biāo)識。能夠依據(jù)新聞來源權(quán)威性、點評總數(shù)、講話時間密集度等參數(shù)，標(biāo)識出去出示給定時間段內(nèi)的熱點話題。運用關(guān)鍵字布控和語義剖析，標(biāo)識比較敏感話題。②追蹤作用。對主題、人物或組織的追蹤和聚焦。追蹤的具體內(nèi)容包含：信息來源、轉(zhuǎn)載量、轉(zhuǎn)載地址、地區(qū)分布、信息發(fā)布者等有關(guān)信息要素。③關(guān)注度剖析作用。根據(jù)參與度和影響力等要素來考慮，是考量有關(guān)話題討論網(wǎng)絡(luò)影響力的關(guān)鍵指標(biāo)值，網(wǎng)絡(luò)關(guān)注度越高，說明其在網(wǎng)絡(luò)網(wǎng)絡(luò)中受到關(guān)心，網(wǎng)民參加討論越積極主動，有關(guān)話題討論在網(wǎng)站內(nèi)的散播越廣。④趨勢分析作用。對突發(fā)性事件開展跨時間、跨空間綜合分析，了解事件發(fā)展的全貌并預(yù)測事件發(fā)展趨勢。⑤信息自動摘要作用?？梢砸罁?jù)文檔內(nèi)容自動提取文檔摘要?？蛻舨挥貌榭此形恼聝?nèi)容，根據(jù)該智能化總結(jié)就可以迅速了解文章內(nèi)容大意和核心內(nèi)容，提升客戶信息使用高效率。⑥警報作用。對突發(fā)性事件，涉及到內(nèi)容安全性的敏感專題內(nèi)容立即發(fā)覺并出示危機預(yù)警。能夠依據(jù)事件的危機級別，起動不一樣的危機公關(guān)解決方案，進而迅速操縱事件發(fā)展方向。⑦統(tǒng)計分析報表作用。依據(jù)輿情分析引擎解決后的結(jié)果庫生成報表，為客戶出示決策支持。

近幾年來，輿情監(jiān)測系統(tǒng)的功能不斷升級，專業(yè)的輿情分析方法也不斷提升，有各種各樣的輿情分析師專業(yè)培訓(xùn)，不斷提升輿情分析師的技能。盡管如此，無論是網(wǎng)絡(luò)監(jiān)測從業(yè)人員還是科研人員，都感受到了很大的壓力，那就是采用網(wǎng)絡(luò)監(jiān)測的方法來研究網(wǎng)絡(luò)輿情，尤其是現(xiàn)實社會輿情的局限性日益凸顯，各種技術(shù)和方法的提升都難以突破這個瓶頸。究其原因，主要有以下幾個方面。