Webpagina schrapen via Linux. (12 / 16 stap)

Stap 12: Instructable scounts deel 2


Kennisgeving: Becuase Instrucables veranderd hun web pagina's opnieuw, dit instructable zullen niet werken. Ik ben bezig met een fix.

In de laatste instructable we gewoon weergegeven de gegevens. Nu we de code wijzigen en vervolgens de code gebruiken om de gegevens en de graven voor het importeren van een werkblad. Sorry dat ik heb geen gebruik van een pictogram. U kunt dat doen.

Oorspronkelijke gegevens:

idata: (niet doen niet type in "[data]" of [/data] of krijgt u een fout)
[data]






[/ gegevens}

Nu hebben we een gewijzigde programma:

gidata2ss.sh:
[code]
#================================
#
# Instructablesnumbers catcher
#
#=================================
# Toewijzingen
# --------------------------------
szAnswer = $(zenity--selectie van bestanden--titel = "Selecteer een iurl bestand om te lezen")
datafile = $szAnswer
outfile = "inumdata"
# de datum
tmon = $(datum + "%b")
tday = $(datum + "%d")
echo "de weergaven voor $dj op $tmon $tday:" > $outfile
#=================================
#
# De gegevensinvoer
#---------------------------------
terwijl lees lijn
doen theurl = $line
# uncomment de volgende regel als u wilt zien van de url en/of weergaven
echo "$theurl"
# krijgen totale views
# elinks "$theurl" | grep "Totale Views"
# krijgen alle info
# elinks "$theurl" | grep Views
# Haal nummers
elinks "$theurl" | grep -m 1 "totale Views" | knippen -c 16-25 | sed, \,,, g' >> $outfile
gedaan < $datafile
zenity--tekst-info--filename = $hetbestand
[/ code]

Programma om gegevens te krijgen.
Start nieuw werkblad.
Kopieer en plak van getallen in het werkblad (gebruik met vaste en speciale nummers)
De kolomtitels van de toevoegen
Kopiëren plakken URL's (met vaste lengte.)
Opslaan en gedaan.

Opgenomen een filmpje om te laten zien hoe het werkt.

Update:

Een nieuwe versie van het script schreef en het zou moeten werken beter.

[code]
#================================
#
# Instructablesnumbers catcher
#
#=================================
# Toewijzingen
# --------------------------------
szAnswer = $(zenity--selectie van bestanden--titel = "Selecteer een iurl bestand om te lezen")
datafile = $szAnswer
outfile = "inumdata"
# de datum
tmon = $(datum + "%b")
tday = $(datum + "%d")
echo "de weergaven voor $dj op $tmon $tday:" > $outfile
#=================================
#
# De gegevensinvoer
#---------------------------------
terwijl lees lijn
doen theurl = $line
echo "$theurl"
# echo -n "$theurl'" >> $outfile
# krijgen totale views
curl -s "$theurl" | grep -m 1 "hits-count" | de sed / [^ 0-9] * / / g' >> $outfile
gedaan < $datafile
zenity--tekst-info--filename = $hetbestand
[/ code]

-----------------------------------------------------------------------------

Gedeeltelijke tijdelijke fix

#================================
#
# Instructablesnumbers catcher
#
#=================================
# Toewijzingen
# --------------------------------
szAnswer = $(zenity--selectie van bestanden--titel = "Selecteer een iurl bestand om te lezen")
datafile = $szAnswer
outfile = "inumdata"
totaal = 0
# de datum
tmon = $(datum + "%b")
tday = $(datum + "%d")
echo "de weergaven voor $dj op $tmon $tday:" > $outfile
#=================================
#
# De gegevensinvoer
#---------------------------------
terwijl lees lijn
doen theurl = $line
echo "$theurl"
# echo -n "$theurl'" >> $outfile
# krijgen totale views
# count = $(elinks "$theurl" | grep -m 1 "hits-count" | sed ' s/[^0-9]*//g')
Count = $(elinks "$theurl" | grep -m 1 "meningen" | sed ' s/[^0-9]*//g')
# laat totaal$ totale + $count =
echo "$count" >> $outfile
gedaan < $datafile
# echo "totale: $total" >> $outfile
zenity--tekst-info--filename = $hetbestand

--------------------------------------------------------------
Nog een andere tijdelijke oplossing.
Terwijl looged in:
#================================
#
# Instructablesnumbers catcher
#
#=================================
# Toewijzingen
# --------------------------------
szAnswer = $(zenity--selectie van bestanden--titel = "Selecteer een iurl bestand om te lezen")
datafile = $szAnswer
outfile = "inumdata"
totaal = 0
# de datum
tmon = $(datum + "%b")
tday = $(datum + "%d")
echo "de weergaven voor $dj op $tmon $tday:" > $outfile
#=================================
#
# De gegevensinvoer
#---------------------------------
terwijl lees lijn
doen theurl = $line
echo "$theurl"
# echo -n "$theurl'" >> $outfile
# krijgen totale views
# count = $(elinks "$theurl" | grep -m 1 "hits-count" | sed ' s/[^0-9]*//g')
Count = $(elinks "$theurl" | grep -m 1 "meningen" | sed ' s/[^0-9]*//g')
# laat totaal$ totale + $count =
echo "$count" >> $outfile
gedaan < $datafile
# echo "totale: $total" >> $outfile
zenity--tekst-info--filename = $hetbestand

=======================================================

Favorieten krijgen door:
#================================
#
# Instructablesnumbers catcher
#
#=================================
# Toewijzingen
# --------------------------------
szAnswer = $(zenity--selectie van bestanden--titel = "Selecteer een iurl bestand om te lezen")
datafile = $szAnswer
outfile = "inumdata"
totaal = 0
# de datum
tmon = $(datum + "%b")
tday = $(datum + "%d")
echo "de weergaven voor $dj op $tmon $tday:" > $outfile
#=================================
#
# De gegevensinvoer
#---------------------------------
terwijl lees lijn
doen theurl = $line
echo "$theurl"
# echo -n "$theurl'" >> $outfile
# krijgen totale views
# count = $(elinks "$theurl" | grep -m 1 "hits-count" | sed ' s/[^0-9]*//g')
Count = $("$theurl" elinks | grep -m 1 "favorieten" | sed ' s/[^0-9]*//g')
# laat totaal$ totale + $count =
echo "$count" >> $outfile
gedaan < $datafile
# echo "totale: $total" >> $outfile
zenity--tekst-info--filename = $hetbestand

Gerelateerde Artikelen

Webpagina schrapen met een gui.

Webpagina schrapen met een gui.

Tot nu toe hebben we webpagina's via de opdrachtregel met schrapen en dan deden we het met het web met. Nu laten we het naar het bureaublad. Alleen zal ik een voorbeeld en u kunt de rest van hen achterhalen. We zullen gebruiken zenity weer waarmee we
Begin webpagina schrapen met php.

Begin webpagina schrapen met php.

We hebben sommige webpagina schrapen met bash gedaan en nu willen we aan het intensiveren van de macht van de code met een webpagina-scripttaal genaamd PHP. Dat is de P meestal in de stack versterker (W/M/L) van een webserver Apache2. Ik zal u tonen
Webpagina schrapen van/naar een webpagina.

Webpagina schrapen van/naar een webpagina.

Het doel van het project is om opdracht zoals batch-bestanden en maak ze toegankelijk via het web. U zal zitten kundig voor uw eigen speciale web-pagina te maken en niet moet afhangen van iemand anders te bereiden voor u. Web pagina schrapen terug na
Eenvoudige linux commando's van een web-pagina.

Eenvoudige linux commando's van een web-pagina.

Er moest een manier om te doen eenvoudige commando's voor linux zonder het gaan naar de opdrachtregel. Het keurige deel aan dit project is dat u zo gemakkelijk het zelf uitbreiden kunt. Moet een directory listing. Geen probleem. Wilt u weten hoe de s
Stuur een mailtje via telnet

Stuur een mailtje via telnet

Hi's iedereen, heb je een beetje leuk en voor een persoonlijke project dat ik nodig voor het verzenden van mails via linux terminal. De eerste optie die ik had was te gebruiken van het postbevel van postfix. Maar voor sommige reden wilde ik deze meth
Inleiding tot het installeren van web apps.

Inleiding tot het installeren van web apps.

Webapplicaties zijn een zegen voor uw computeromgeving bieden. Traditioneel zou u computer software applicaties lokaal op elk systeem laden.  Zelfs met geautomatiseerde software kan implementatie systemen, nog steeds worden ondersteunen intensieve. M
Raspberry Pi geconfigureerd voor een Maker Fair

Raspberry Pi geconfigureerd voor een Maker Fair

Ik gebruik de Raspberry Pi een veel in projecten die ik laten op verschillende beurzen van de Maker zien. Ik de installatie van de Raspberry Pi's webserver als de front-end van een interface die verschillende dingen kunt bepalen. De webserver kan wor
Raspberry Pi bijenteelt Server

Raspberry Pi bijenteelt Server

Bijenteelt (of de bijenteelt, uit het Latijn: API's "bee") is het onderhoudvan honing bijenvolken, vaak in kasten, door de mens. Een imker (of apiarist) houdt bijen om hun honing en andere producten die de korf produceert (met inbegrip van bijen
Aan de slag met Intel® Edison Mini Breakout Board

Aan de slag met Intel® Edison Mini Breakout Board

Intel biedt 2 verschillende hardwareplatformen om te werken met Intel® Edison ontwikkel bord.De kern-module van Intel® Edison heet Intel® Edison Compute Module, terwijl de 2 extensie planken zijn Intel® Edison Arduino Board en Intel® Edison Breakout
24Mhz--1800 Mhz SDR-Radio-ontvanger voor $15 (Digital, zijband AM, FM enz

24Mhz--1800 Mhz SDR-Radio-ontvanger voor $15 (Digital, zijband AM, FM enz

24 Mhz--1800 Mhz SDR-Radio-ontvanger voor $15 (Digital, zijband AM, FM enz)Ik heb onlangs besloten om te proberen uit een van de nieuwe SDR DVB-T TV tuner USB-apparaten. Ze worden verkocht over de hele wereld als USB TV-tuners.  De ene die ik gebruik
Grote op zoek pompoenen gemakkelijk snijden

Grote op zoek pompoenen gemakkelijk snijden

dit jaar ik gesneden mijn beste pompoen nog, en ik dacht dat ik zou het document.Deze methode duurde ongeveer drie uur, maar ziet er vrij goed in mijn mening.Stap 1: materialen - Pompoen-Gekarteld mes-Lepel-Pin / naald / scherpe punt-Computer, Printe
Mijn observatorium

Mijn observatorium

De achtergrondIk heb een gezondheidsprobleem dat me met behulp van een telescoop op een normale manier tegenhoudt, dus ik wilde video en CCD-camera's te gebruiken op mijn telescopen - afstand gecontroleerd terug naar mijn slaapkamer. De telescoop moe
Linux (Knoppix) via USB op Tablet-PC van HP tc4400

Linux (Knoppix) via USB op Tablet-PC van HP tc4400

overzicht van HP tc4400 running Windows XP Tablet Edition, opgestart via USB en Flash drive met Knoppix en Linux hulpmiddelen.Dit is een overzicht van de USB-proces voor opstartkopieën.Links en verwijzingen zijn online beschikbaar.(http://en.wikipedi
Het bedienen van uw verlichting via een webpagina!

Het bedienen van uw verlichting via een webpagina!

Na het spelen met RF-controllers voor een tijdje, ik realiseerde me een groot nadeel is de noodzaak om altijd een zender om een signaal naar de ontvanger. Zou het niet mooi zijn als ik mijn telefoon als een zender gebruiken kon? Nou, is dat precies w