Vietņu nokasīšana ar Python un BeautifulSoup - Semalt Advice

Internetā ir vairāk nekā pietiekami daudz informācijas par to, kā pareizi nokasīt vietnes un emuārus. Mums vajadzīga ne tikai piekļuve šiem datiem, bet mērogojami veidi, kā tos vākt, analizēt un organizēt. Python un BeautifulSoup ir divi brīnišķīgi rīki vietņu nokasīšanai un datu iegūšanai. Tīmekļa nokasīšanā datus var viegli iegūt un iesniegt vajadzīgajā formātā. Ja esat dedzīgs ieguldītājs, kurš novērtē savu laiku un naudu, jums noteikti jāpaātrina tīmekļa nokasīšanas process un jāpadara tas pēc iespējas optimizēts.

Darba sākšana

Kā galveno skrāpēšanas valodu mēs izmantosim gan Python, gan BeautifulSoup.

• 1. Mac lietotājiem Python ir iepriekš instalēts OS X. Viņiem vienkārši ir jāatver terminālis un jāievada python-version . Tādā veidā viņi varēs redzēt Python 2.7 versiju.
• 2. Windows lietotājiem mēs iesakām instalēt Python caur tās oficiālo vietni.
• 3. Tālāk jums jāpiekļūst BeautifulSoup bibliotēkai ar pip palīdzību. Šis pakotņu pārvaldības rīks tika izveidots īpaši Python.

Terminālī jums jāievieto šāds kods:

easy_install pip

pip instalēt BeautifulSoup4

Nokasīšanas noteikumi:

Galvenie kasīšanas noteikumi, par kuriem jums vajadzētu rūpēties, ir:

• 1. Pirms sākt darbu ar tās nokasīšanu, jums ir jāpārbauda vietnes noteikumi un noteikumi. Tāpēc esiet ļoti uzmanīgs!
• 2. Jums nevajadzētu pārāk agresīvi pieprasīt datus no vietnēm. Pārliecinieties, ka izmantotais rīks rīkojas saprātīgi. Pretējā gadījumā jūs varat salauzt vietni.
• 3. Viens pieprasījums sekundē ir pareiza prakse.
• 4. Emuāra vai vietnes izkārtojumu var mainīt jebkurā laikā, un jums, iespējams, vajadzēs atkārtoti apmeklēt šo vietni un pārrakstīt savu kodu.

Pārbaudiet lapu

Novietojiet kursoru lapā Cena, lai saprastu, kas būtu jādara. Izlasiet tekstu, kas saistīts gan ar HTML, gan ar Python, un rezultātos redzēsit cenas HTML tagos.

Eksportēt uz Excel CSV

Kad esat ieguvis datus, nākamais solis ir saglabāt tos bezsaistē. Šajā ziņā labākā izvēle ir Excel ar komatu atdalīts formāts, un to varat viegli atvērt savā Excel lapā. Bet vispirms jums būs jāimportē Python CSV moduļi un datuma un laika moduļi, lai pareizi ierakstītu datus. Importēšanas sadaļā var ievietot šādu kodu:

importa csv

no dienas laika importa uz dienas laika periodu

Uzlabotas nokasīšanas tehnikas

BeautifulSoup ir viens no vienkāršākajiem un visaptverošākajiem rīkiem tīmekļa nokasīšanai. Tomēr, ja jums jāvāc liels datu apjoms, apsveriet dažas citas alternatīvas:

• 1. Lūžņi ir spēcīgs un pārsteidzošs python nokasīšanas ietvars.
• 2. Jūs varat arī integrēt kodu publiskajā API. Svarīga būs jūsu datu efektivitāte. Piemēram, varat izmēģināt Facebook Graph API, kas palīdz slēpt datus un tos neparāda Facebook lapās.
• 3. Turklāt jūs varat izmantot aizmugures programmas, piemēram, MySQL, un glabāt datus lielā apjomā ar lielu precizitāti.
• 4. DRY nozīmē "neatkārtojiet sevi", un jūs varat mēģināt automatizēt regulāros uzdevumus, izmantojot šo paņēmienu.