中國專業(yè)IT外包服務(wù)

加入收藏??

公司微博

網(wǎng)站地圖??

IT外包價(jià)格計(jì)算器

您當(dāng)前位置：主頁 > IT服務(wù) > 服務(wù)器服務(wù) >

艾銻知識(shí) |什么是網(wǎng)絡(luò)爬蟲

2020-02-17 12:50 作者：艾銻無限瀏覽量：

迎戰(zhàn)疫情,艾銻無限用愛與您同行

為中國中小企業(yè)提供免費(fèi)IT外包服務(wù)

這次的肺炎疫情對中國的中小企業(yè)將會(huì)是沉重的打擊，據(jù)釘釘和微信兩個(gè)辦公平臺(tái)數(shù)據(jù)統(tǒng)計(jì)現(xiàn)有2億左右的人在家遠(yuǎn)程辦公，那么對于中小企業(yè)的員工來說不懂IT技術(shù)將會(huì)讓他們面臨的最大挑戰(zhàn)和困難。

電腦不亮了怎么辦？系統(tǒng)藍(lán)屏如何處理？辦公室的電腦在家如何連接？網(wǎng)絡(luò)應(yīng)該如何設(shè)置？VPN如何搭建？數(shù)據(jù)如何對接？服務(wù)器如何登錄？數(shù)據(jù)安全如何保證？數(shù)據(jù)如何存儲(chǔ)？視頻會(huì)議如何搭建？業(yè)務(wù)系統(tǒng)如何開啟等等一系列的問題，都會(huì)困擾著并非技術(shù)出身的您。

好消息是當(dāng)您看到這篇文章的時(shí)候，就不用再為上述的問題而苦惱，您只需撥打艾銻無限的全國免費(fèi)熱線電話:400 650 7820，就會(huì)有我們的遠(yuǎn)程工程師為您解決遇到的問題，他們可以遠(yuǎn)程幫您處理遇到的一些IT技術(shù)難題。

如遇到免費(fèi)熱線占線，您還可以撥打我們的24小時(shí)值班經(jīng)理電話:15601064618或技術(shù)經(jīng)理的電話:13041036957，我們會(huì)在第一時(shí)間接聽您的來電，為您提供適合的解決方案，讓您無論在家還是在企業(yè)都能無憂辦公。

那艾銻無限具體能為您的企業(yè)提供哪些服務(wù)呢？

艾銻無限始創(chuàng)于2005年，歷經(jīng)15年服務(wù)了5000多家中小企業(yè)并保障了幾十萬臺(tái)設(shè)備的正常運(yùn)轉(zhuǎn)，積累了豐富的企業(yè)IT緊急問題和特殊故障的解決經(jīng)驗(yàn)，制定了相對應(yīng)的解決方案。我們?yōu)槟钠髽I(yè)提供的IT服務(wù)分為三大版塊:

第一版塊是保障性IT外包服務(wù):如電腦設(shè)備運(yùn)維，辦公設(shè)備運(yùn)維，網(wǎng)絡(luò)設(shè)備運(yùn)維，服務(wù)器運(yùn)維等綜合性企業(yè)IT設(shè)備運(yùn)維服務(wù)。

第二版塊是功能性互聯(lián)網(wǎng)外包服務(wù):如網(wǎng)站開發(fā)外包，小程序開發(fā)外包，APP開發(fā)外包，電商平臺(tái)開發(fā)外包，業(yè)務(wù)系統(tǒng)的開發(fā)外包和后期的運(yùn)維外包服務(wù)。

第三版塊是增值性云服務(wù)外包:如企業(yè)郵箱上云，企業(yè)網(wǎng)站上云，企業(yè)存儲(chǔ)上云，企業(yè)APP小程序上云，企業(yè)業(yè)務(wù)系統(tǒng)上云，阿里云產(chǎn)品等后續(xù)的云運(yùn)維外包服務(wù)。

您要了解更多服務(wù)也可以登錄艾銻無限的官網(wǎng):www.bjitwx.com查看詳細(xì)說明，在疫情期間，您企業(yè)遇到的任何困境只要找到艾銻無限，能免費(fèi)為您提供服務(wù)的我們絕不收一分錢，我們?nèi)w艾銻人承諾此活動(dòng)直到中國疫情結(jié)束,我們將這次活動(dòng)稱為——春雷行動(dòng)。

以下還有我們?yōu)槟峁┑囊恍┘夹g(shù)資訊，以便可以幫助您更好的了解相關(guān)的IT知識(shí)，幫您渡過疫情中辦公遇到的困難和挑戰(zhàn)，艾銻無限愿和中國中小企業(yè)一起共進(jìn)退，因?yàn)槲覀兿嘈湃f物同體，能量合一，只要我們一起齊心協(xié)力，一定會(huì)成功。再一次祝福您和您的企業(yè)，戰(zhàn)勝疫情，您和您的企業(yè)一定行。

艾銻知識(shí) |什么是網(wǎng)絡(luò)爬蟲

互聯(lián)網(wǎng)誕生之初，是為了讓人們更容易的分享數(shù)據(jù)、交流通訊。互聯(lián)網(wǎng)是橋梁，連接了世界各地的人們。網(wǎng)站的點(diǎn)擊、瀏覽都是人為的，與你聊天的也是活生生的人。然而，隨著技術(shù)的發(fā)展，人們對數(shù)據(jù)的渴

望，出現(xiàn)了各種網(wǎng)絡(luò)機(jī)器人，這個(gè)時(shí)候，你不知道屏幕那端跟你聊天的是一個(gè)人還是一條狗，你也不知道你網(wǎng)站的瀏覽量是人點(diǎn)擊出來的，還是機(jī)器爬出來的。表面上看，互聯(lián)網(wǎng)上是各種各樣的人；暗地里，已

經(jīng)布滿了形形色色的網(wǎng)絡(luò)爬蟲。

一、搜索引擎時(shí)代的網(wǎng)絡(luò)爬蟲

關(guān)于網(wǎng)絡(luò)爬蟲的概念，我們先來瞅瞅維基百科（Wikipedia）上面的定義：

網(wǎng)絡(luò)爬蟲（英語：web crawler），也叫網(wǎng)上蜘蛛（spider），是一種用來自動(dòng)瀏覽萬維網(wǎng)的網(wǎng)絡(luò)機(jī)器人。其目的一般為編纂網(wǎng)絡(luò)索引。這里提到的編纂網(wǎng)絡(luò)索引，就是搜索引擎干的事情。我們對搜索引擎并不陌

生，Google、百度等搜索引擎可能每天都在幫我們快速獲得信息。可能小猿們要問，搜索引擎的工作過程是怎樣的呢？

首先，就是有網(wǎng)絡(luò)爬蟲不斷抓取各個(gè)網(wǎng)站的網(wǎng)頁，存放到搜索引擎的數(shù)據(jù)庫；

接著，索引程序讀取數(shù)據(jù)庫的網(wǎng)頁進(jìn)行清理，建立倒排索引；

最后，搜索程序接收用戶的查詢關(guān)鍵詞，去索引里面找到相關(guān)內(nèi)容，并通過一定的排序算法（Pagerank等）把最相關(guān)最好的結(jié)果排在最前面呈現(xiàn)給用戶。

看上去簡簡單單的三個(gè)部分，卻構(gòu)成了強(qiáng)大復(fù)雜的搜索引擎系統(tǒng)。而網(wǎng)絡(luò)爬蟲是其中最基礎(chǔ)也很重要的一部分，它決定著搜索引擎數(shù)據(jù)的完整性和豐富性。我們也看到網(wǎng)絡(luò)爬蟲的主要作用是獲取數(shù)據(jù)。由此簡單

地說，網(wǎng)絡(luò)爬蟲就是獲取互聯(lián)網(wǎng)公開數(shù)據(jù)的自動(dòng)化工具。這里要強(qiáng)調(diào)一下，網(wǎng)絡(luò)爬蟲爬取的是互聯(lián)網(wǎng)上的公開數(shù)據(jù)，而不是通過特殊技術(shù)非法入侵到網(wǎng)站服務(wù)器獲取的非公開數(shù)據(jù)。

可能你要問，什么是“公開數(shù)據(jù)”呢？簡而言之，就是網(wǎng)站上公開讓用戶瀏覽、獲取的數(shù)據(jù)。

雖然數(shù)據(jù)是公開的，但是當(dāng)某人或機(jī)構(gòu)（如，搜索引擎）大量收集這些數(shù)據(jù)并因此獲利時(shí)，也會(huì)讓數(shù)據(jù)生產(chǎn)方——網(wǎng)站很不爽，由此而產(chǎn)生法律糾紛。比如，早些年Google因此而惹上官司。網(wǎng)站們看著搜索引擎

因?yàn)樗阉饕孀ト∽约旱膬?nèi)容而獲利不爽，但也因?yàn)樗阉饕鎺淼牧髁慷吲d不已，于是就出現(xiàn)了網(wǎng)站主動(dòng)進(jìn)行搜索引擎優(yōu)化（SEO, Search Engine Optimization），也就是告訴搜索引擎，我這里的內(nèi)容好，

快來抓取吧！搜索引擎和網(wǎng)站的博弈，催生了一個(gè)君子協(xié)議： robots.txt。網(wǎng)站在自己的網(wǎng)站上放上這個(gè)文件，告訴爬蟲哪些內(nèi)容可以抓，哪些內(nèi)容不可以抓；搜索引擎讀取網(wǎng)站的robots.txt來知道自己的抓取范

圍，同時(shí)也在訪問網(wǎng)站時(shí)通過User-Agent來向網(wǎng)站表明自己的身份（這種表明也是君子協(xié)議，技術(shù)上很容易假扮他人），比如，Google的爬蟲叫做Googlebot，百度的爬蟲叫做Baiduspider。這樣，二者和平共

處，互惠互利。

二、大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)爬蟲

時(shí)代在發(fā)展，數(shù)據(jù)變得越來越重要，“大數(shù)據(jù)”已經(jīng)成為各行各業(yè)討論的話題，人們對數(shù)據(jù)的渴望也變成貪婪，數(shù)據(jù)也就成了“石油”，爬蟲也就成了“鉆井機(jī)”。為了獲取石油，人們使用鉆井機(jī)；為了獲取數(shù)據(jù)，人們

使用爬蟲。為了獲得數(shù)據(jù)，人們把互聯(lián)網(wǎng)鉆的是“千瘡百孔”。哈哈，這里有些夸張。但人們對數(shù)據(jù)的獲取，已經(jīng)打破的君子協(xié)定，和網(wǎng)站們玩起了貓捉老鼠的游戲，展開了道高一尺魔高一丈的較量。為什么說是

較量呢？因?yàn)榇罅颗老x的行為會(huì)給網(wǎng)站帶來網(wǎng)絡(luò)帶寬、服務(wù)器計(jì)算力等方面很大的壓力，卻幾乎不帶來任何利益。為了降低這種毫無利益的壓力和避免自己的數(shù)據(jù)被他人集中收集，網(wǎng)站肯定要通過技術(shù)手段來限

制爬蟲；另一方面，爬蟲為了獲取石油般的數(shù)據(jù)，就想方設(shè)法來突破這種限制。對于這種較量的理解，還是看活生生的例子來得更透徹。

你有沒有花幾十塊錢讓某個(gè)軟件幫你搶火車票？

攻：搶票爬蟲會(huì)不斷訪問12306來獲得火車票座位數(shù)據(jù)，并進(jìn)而購買火車票；

防： 12306網(wǎng)站出了變態(tài)的認(rèn)證碼，人都經(jīng)常識(shí)別錯(cuò)誤。

各種秒殺讓你很受傷！

攻：研究網(wǎng)站的秒殺機(jī)制，提前寫好爬蟲，秒殺時(shí)刻，人快不過機(jī)器；

防：有些秒殺的宣傳作用很大就懶得防；有些秒殺機(jī)制復(fù)雜到你很難寫出對應(yīng)的爬蟲；有些秒殺成功被發(fā)現(xiàn)作弊也會(huì)被取消。

爬蟲變得越來越多，越來越肆無忌憚，網(wǎng)站也不得不使用各種技術(shù)手段來禁止或限制爬蟲。這些手段大致包括：

使用賬戶保護(hù)數(shù)據(jù)，數(shù)據(jù)僅對登錄用戶可見；

數(shù)據(jù)多次異步加載；

限制IP訪問頻率，甚至封鎖IP；

輸入驗(yàn)證碼以獲得訪問權(quán)限；

數(shù)據(jù)在服務(wù)器端加密，瀏覽器端解密；

……

而這些手段也是爬蟲在技術(shù)實(shí)現(xiàn)中要解決和突破的問題。

三、網(wǎng)絡(luò)爬蟲的自我約束

看完上面“貓捉老鼠”的游戲的描述，小猿們不禁要問，網(wǎng)站和爬蟲這種對抗較量會(huì)不會(huì)引起法律問題？

這是一個(gè)很好的問題，也是值得每個(gè)爬蟲開發(fā)者思考的問題。

爬蟲作為一種技術(shù)本身可能無所謂善惡，但是使用它的人就有善惡之分。如何使用爬蟲，爬取的數(shù)據(jù)如何使用，都可能產(chǎn)生潛在的法律問題。作為技術(shù)開發(fā)的小猿們，都應(yīng)該思考這個(gè)問題。無論何種目的，網(wǎng)絡(luò)

爬蟲都不能突破法律的底線，同時(shí)也有遵守一定的準(zhǔn)則：

遵循robots.txt協(xié)議；

避免短時(shí)間高并發(fā)訪問目標(biāo)網(wǎng)站，避免干擾目標(biāo)網(wǎng)站的正常運(yùn)行；

不要抓取個(gè)人信息，比如手機(jī)通訊錄等；

使用抓來的數(shù)據(jù)注意隱私保護(hù)，合法合規(guī)。