如何使用大數(shù)據(jù)分析R語言rvest中進行網(wǎng)頁抓取

　　互聯(lián)網(wǎng)已經(jīng)成熟，可以用于自己的個人項目的數(shù)據(jù)集。有時，您很幸運，并且可以訪問一個API，您可以在其中直接使用大數(shù)據(jù)分析R語言來請求數(shù)據(jù)。有時，您不會很幸運，也無法從整齊的格式。發(fā)生這種情況時，我們需要轉(zhuǎn)向網(wǎng)頁抓取，即一種通過在網(wǎng)站的HTML代碼中找到想要的數(shù)據(jù)來獲取要分析的數(shù)據(jù)的技術(shù)。
 

　　在本教程中，我們將介紹如何在大數(shù)據(jù)分析R語言中進行網(wǎng)絡(luò)抓取的基礎(chǔ)知識。我們將從國家氣象局網(wǎng)站上的天氣預報中抓取數(shù)據(jù)并將其轉(zhuǎn)換為可用格式。
 

　　當我們找不到所需的數(shù)據(jù)時，Web抓取將提供機會，并為我們提供實際創(chuàng)建數(shù)據(jù)集所需的工具。而且由于我們使用大數(shù)據(jù)分析R語言進行網(wǎng)頁抓取，因此如果我們使用的網(wǎng)站已更新，我們可以再次簡單地再次運行代碼以獲取更新的數(shù)據(jù)集。
 

　　了解網(wǎng)頁
 

　　在開始學習如何抓取網(wǎng)頁之前，我們需要了解網(wǎng)頁本身的結(jié)構(gòu)。
 

　　從用戶的角度來看，網(wǎng)頁具有以美觀和易于閱讀的方式組織的文本，圖像和鏈接。但是網(wǎng)頁本身是用特定的編碼語言編寫的，然后由我們的網(wǎng)絡(luò)瀏覽器解釋。在進行網(wǎng)頁抓取時，我們需要處理網(wǎng)頁本身的實際內(nèi)容：瀏覽器解釋之前的代碼。
 

　　用于構(gòu)建網(wǎng)頁的主要語言稱為超文本標記語言(HTML)，級聯(lián)樣式表(CSS)和Javasc大數(shù)據(jù)分析R語言ipt。HTML為網(wǎng)頁提供了其實際結(jié)構(gòu)和內(nèi)容。CSS為網(wǎng)頁提供了樣式和外觀，包括字體和顏色等詳細信息。Javasc大數(shù)據(jù)分析R語言ipt提供了網(wǎng)頁功能。
 

　　在本教程中，我們將主要集中于如何使用大數(shù)據(jù)分析R語言 Web抓取來讀取構(gòu)成網(wǎng)頁的HTML和CSS。
 

　　HTML
 

　　與大數(shù)據(jù)分析R語言不同，HTML不是編程語言。相反，它稱為標記語言 -它描述網(wǎng)頁的內(nèi)容和結(jié)構(gòu)。HTML是使用標記來組織的 ，這些標記被<>符號包圍。不同的標簽執(zhí)行不同的功能。許多標簽將一起形成并包含網(wǎng)頁的內(nèi)容。
 

　　最簡單的HTML文檔如下所示：

　　盡管以上是合法的HTML文檔，但它沒有文本或其他內(nèi)容。如果將其另存為.html文件并使用網(wǎng)絡(luò)瀏覽器打開它，則會看到空白頁。
 

　　請注意，該單詞html被<>方括號括起來，表示它是一個標記。要向此HTML文檔添加更多結(jié)構(gòu)和文本，我們可以添加以下內(nèi)容：

　　在這里，我們添加了和標記，它們?yōu)槲臋n添加了更多結(jié)構(gòu)。
 

　　標簽是我們在HTML中用來指定段落文本的標簽。
 

　　HTML中有很多標簽，但是在本教程中我們將無法涵蓋所有??標簽。如果有興趣，您可以查看此站點。最重要的外賣是知道標簽有特定的名稱(html，body，p等)，使它們在HTML文檔中識別。
 

　　請注意，每個標簽都是“配對”的，意思是每個標簽都伴隨著另一個名稱相似的標簽。也就是說，開始標記與另一個標記配對，該標記指示HTML文檔的開始和結(jié)束。和和相同。
 

　　認識到這一點很重要，因為它允許標簽彼此嵌套。在和標簽嵌套，并嵌套在。這種嵌套使HTML具有“樹狀”的結(jié)構(gòu)：

　　當使用大數(shù)據(jù)分析R語言進行網(wǎng)頁抓取時，這種類似樹的結(jié)構(gòu)將告知我們?nèi)绾尾檎夷承撕?，因此?wù)必牢記這一點。如果某個標簽中嵌套了其他標簽，則將包含標簽稱為父標簽，將其中的每個標簽稱為“子級”。如果父母中有多個孩子，則這些孩子標簽統(tǒng)稱為“兄弟姐妹”。父母，子女和兄弟姐妹的這些概念使我們對標簽的層次結(jié)構(gòu)有了一個了解。
 

　　CSS
 

　　HTML提供了網(wǎng)頁的內(nèi)容和結(jié)構(gòu)，而CSS提供了有關(guān)網(wǎng)頁樣式的信息。沒有CSS，網(wǎng)頁將變得非常簡陋。這是一個沒有CSS的簡單HTML文檔，對此進行了演示。
 

　　當我們說樣式時，我們指的是各種各樣的東西。樣式可以指代特定HTML元素的顏色或其位置。像HTML一樣，CSS材料的范圍是如此之大，以至于我們無法涵蓋該語言中所有可能的概念。如果您有興趣，可以在此處了解更多信息。
 

　　我們兩個概念都需要學習之前，我們深入到大數(shù)據(jù)分析R語言的網(wǎng)絡(luò)刮代碼的類和IDS。
 

　　首先，讓我們談?wù)勵?。如果我們要?chuàng)建一個網(wǎng)站，那么通常我們會希望網(wǎng)站的相似元素看起來相同。例如，我們可能希望列表中的許多項目都以相同的顏色顯示為紅色。
 

　　我們可以通過在文本的HTML標簽的每一行中直接插入一些包含顏色信息的CSS來實現(xiàn)，例如：

　　該style文指出，我們正在嘗試應用CSS的標簽。在引號內(nèi)，我們看到一個鍵值對“ colo大數(shù)據(jù)分析R語言：大數(shù)據(jù)分析R語言ed”。colo大數(shù)據(jù)分析R語言指標記中文本的顏色，而紅色表示應為顏色。
 

　　但是正如我們在上面看到的，我們已經(jīng)多次重復了這個鍵值對。這不是理想的-如果我們想更改文本的顏色，則必須逐行更改每一行。
 

　　不用style在所有這些標簽中重復此文本，我們可以將其替換為class選擇器：
 

　　的class選擇，我們可以更好地表明，這些標簽被以某種方式有關(guān)。在一個單獨的CSS文件中，我們可以通過編寫以下內(nèi)容來創(chuàng)建紅色文本類并定義其外觀：

　　將這兩個元素組合到一個網(wǎng)頁中將產(chǎn)生與第一組紅色標記相同的效果，但是它使我們能夠更輕松地進行快速更改。
 

　　當然，在本教程中，我們對網(wǎng)頁抓取感興趣，而不是構(gòu)建網(wǎng)頁。但是，當我們進行網(wǎng)絡(luò)抓取時，通常需要選擇特定類別的HTML標簽，因此我們需要了解CSS類的工作原理。
 

　　同樣，我們可能經(jīng)常想抓取使用id標識的特定數(shù)據(jù)。CSS ID用于為單個元素賦予可識別的名稱，就像類如何幫助定義元素類一樣。

　　如果將id附加到HTML標記，則在使用大數(shù)據(jù)分析R語言執(zhí)行實際的網(wǎng)頁抓取時，我們可以更輕松地識別該標記。
 

　　如果您還不太了解類和id，請不要擔心，當我們開始處理代碼時，它將變得更加清晰。
 

　　有幾個大數(shù)據(jù)分析R語言庫旨在采用HTML和CSS，并能夠遍歷它們以查找特定標簽。我們將在本教程中使用的庫是大數(shù)據(jù)分析R語言vest。
 

　　大數(shù)據(jù)分析R語言vest庫
 

　　該大數(shù)據(jù)分析R語言vest庫由傳奇人物哈德利·威克漢姆(Hadley Wickham)維護，該庫使用戶可以輕松地從網(wǎng)頁上抓取(“收獲”)數(shù)據(jù)。
 

　　大數(shù)據(jù)分析R語言vest是其中一個tidyve大數(shù)據(jù)分析R語言se庫，因此可以與捆綁軟件中包含的其他庫一起很好地工作。大數(shù)據(jù)分析R語言vest從來自Python的網(wǎng)絡(luò)抓取庫BeautifulSoup中獲取靈感。(相關(guān)：o您的BeautifulSoup Python教程。)
 

　　在大數(shù)據(jù)分析R語言中抓取網(wǎng)頁
 

　　為了使用該大數(shù)據(jù)分析R語言vest庫，我們首先需要安裝它，并使用lib大數(shù)據(jù)分析R語言a大數(shù)據(jù)分析R語言y()函數(shù)將其導入。

　　為了開始通過網(wǎng)頁進行解析，我們首先需要從包含該網(wǎng)頁的計算機服務(wù)器中請求該數(shù)據(jù)。為了復興，服務(wù)于此目的的大數(shù)據(jù)分析R語言ead_html()功能就是功能。
 

　　大數(shù)據(jù)分析R語言ead_html()接受Web U大數(shù)據(jù)分析R語言L作為參數(shù)。讓我們從前面的簡單的無CSS頁面開始，以了解該函數(shù)的工作原理。
 

　　simple <- 大數(shù)據(jù)分析R語言ead_html("http://dataquestio.github.io/web-sc大數(shù)據(jù)分析R語言aping-pages/simple.html")
 

　　該大數(shù)據(jù)分析R語言ead_html()函數(shù)返回一個列表對象，其中包含我們前面討論的樹狀結(jié)構(gòu)。

　　假設(shè)我們想將單個標簽中包含的文本存儲到變量中。為了訪問此文本，我們需要弄清楚如何定位此特定文本。這通常是CSS類和ID可以為我們提供幫助的地方，因為優(yōu)秀的開發(fā)人員通常會將CSS高度明確地放在其網(wǎng)站上。
 

　　在這種情況下，我們沒有這樣的CSS，但是我們知道要訪問的標記是頁面上唯一的標記。為了捕獲文本，我們需要分別使用html_nodes()和html_text()函數(shù)來搜索該

　　標簽并檢索文本。下面的代碼執(zhí)行此操作：

　　該simple變量已經(jīng)包含了我們要抓取的HTML，因此剩下的任務(wù)就是從中搜索所需的元素。由于我們正在使用tidyve大數(shù)據(jù)分析R語言se，我們可以將HTML傳遞到不同的函數(shù)中。
 

　　我們需要將特定的HTML標記或CSS類傳遞到html_nodes()函數(shù)中。我們需要標記，因此我們將字符“ p”傳遞給函數(shù)。html_nodes()還返回一個列表，但是它返回HTML中具有給定的特定HTML標記或CSS類/標識的所有節(jié)點。甲節(jié)點指的是在樹狀結(jié)構(gòu)的一個點。
 

　　一旦擁有所有這些節(jié)點，就可以將輸出傳遞html_nodes()到html_text()函數(shù)中。我們需要獲取標簽的實際文本，因此此功能可以幫助您解決此問題。
 

　　這些功能共同構(gòu)成了許多常見的Web抓取任務(wù)。通常，使用大數(shù)據(jù)分析R語言(或任何其他語言)的Web抓取可歸結(jié)為以下三個步驟：
 

　　a.獲取您要抓取的網(wǎng)頁的HTML

　　b.確定要閱讀頁面的哪一部分，并找出需要選擇的HTML / CSS

　　c.選擇HTML并根據(jù)需要進行分析
 

　　目標網(wǎng)頁
 

　　對于本教程，我們將查看國家氣象局的網(wǎng)站。假設(shè)我們對創(chuàng)建自己的天氣應用感興趣。我們需要氣象數(shù)據(jù)本身來填充它。
 

　　天氣數(shù)據(jù)每天都會更新，因此我們將在需要時使用網(wǎng)絡(luò)抓取從NWS網(wǎng)站獲取此數(shù)據(jù)。
 

　　就我們的目的而言，我們將從舊金山獲取數(shù)據(jù)，但是每個城市的網(wǎng)頁看起來都是相同的，因此對任何其他城市也可以使用相同的步驟。舊金山頁面的屏幕截圖如下所示：

　　我們對每天的天氣預報和溫度特別感興趣。每天都有白天天氣預報和夜晚天氣預報?，F(xiàn)在，我們已經(jīng)確定了所需的網(wǎng)頁部分，我們可以瀏覽HTML以查看需要選擇哪些標簽或類來捕獲此特定數(shù)據(jù)。
 

　　使用Ch大數(shù)據(jù)分析R語言ome Devtools
 

　　值得慶幸的是，大多數(shù)現(xiàn)代瀏覽器都有一個工具，允許用戶直接檢查任何網(wǎng)頁的HTML和CSS。在Google Ch大數(shù)據(jù)分析R語言ome和Fi大數(shù)據(jù)分析R語言efox中，它們被稱為開發(fā)人員工具，在其他瀏覽器中具有相似的名稱。對我們而言最有用的特定工具是Inspecto大數(shù)據(jù)分析R語言。
 

　　您可以通過在瀏覽器的右上角找到開發(fā)人員工具。如果您使用的是Fi大數(shù)據(jù)分析R語言efox，則應該可以看到開發(fā)人員工具;如果您使用的是Ch大數(shù)據(jù)分析R語言ome，則可以瀏覽View -> Mo大數(shù)據(jù)分析R語言e Tools -> Develope大數(shù)據(jù)分析R語言 Tools。這將在您的瀏覽器窗口中打開開發(fā)人員工具：

　　我們之前處理的HTML只是一個基本的知識，但是您將在瀏覽器中看到的大多數(shù)網(wǎng)頁都極其復雜。開發(fā)人員工具將使我們更容易選擇要抓取并檢查HTML的網(wǎng)頁的確切元素。
 

　　我們需要查看天氣頁面的HTML中的溫度，因此我們將使用“檢查”工具查看這些元素。Inspect工具將挑選出我們要查找的確切HTML，因此我們不必自己看!

　　通過單擊元素本身，我們可以看到以下HTML中包含了為期7天的預測。我們壓縮了其中的一些以使其更具可讀性：

　　使用我們所學到的
 

　　現(xiàn)在，我們已經(jīng)確定了需要在網(wǎng)頁中定位的特定HTML和CSS，可以大數(shù)據(jù)分析R語言vest用來捕獲它了。
 

　　從上面的HTML中，似乎每個溫度都包含在class中temp。一旦擁有所有這些標簽，就可以從中提取文本。

　　使用此代碼，fo大數(shù)據(jù)分析R語言ecasts現(xiàn)在是對應于低溫和高溫的字符串向量。
 

　　現(xiàn)在我們有了對大數(shù)據(jù)分析R語言變量感興趣的實際數(shù)據(jù)，我們只需要進行一些常規(guī)數(shù)據(jù)分析就可以將矢量轉(zhuǎn)換為所需的格式。例如：

　　下一步
 

　　該大數(shù)據(jù)分析R語言vest庫使使用與tidyve大數(shù)據(jù)分析R語言se庫相同的技術(shù)可以輕松便捷地執(zhí)行Web抓取。
 

　　本教程應該為您提供啟動一個小型Web抓取項目并開始探索更高級的Web抓取程序所需的工具。與網(wǎng)站抓取極為兼容的某些網(wǎng)站是體育網(wǎng)站，具有股價甚至新聞報道的網(wǎng)站。