1.2. Access Contents of HTML Page

  • Author: Johannes Maucher

  • Last update: 2018-10-21

This notebook demonstrates how to parse a HTML document and access dedicated elements of the parse tree. Beautiful Soup is a python package for parsing HTML. Download and install version 4 by typing:

pip install beautifulsoup4

into the command shell. Once it is installed it can be imported by

from bs4 import BeautifulSoup

For accessing arbitrary resources by URL the python modul urllib must also be installed. Import the method urlopen() from this module:

from urllib.request import urlopen

If these two modules are available the HTML parse tree of the specified URL can easily be generated as follows.

#url="http://www.zeit.de"
url="http://www.spiegel.de"
#url="http://www.sueddeutsche.de"
html=urlopen(url).read()
soup=BeautifulSoup(html,"html.parser")

Now e.g. the title of the URL can be accessed by:

titleTag = soup.html.head.title
print("Title of page:  ",titleTag.string)
Title of page:   DER SPIEGEL | Online-Nachrichten

1.2.2. Get all news titles

Get title of all news, which are currently listed on www.zeit.de:

#print soup.get_text()hreflinks=[]
AllTitles=soup.findAll('h2')
alltitles=[]
alltitleLinks=[]
for l in AllTitles:
    #print(l)
    try:
        title = l.find('a')['title']
        link = l.find('a')['href']
        print('-'*40)
        print(title)
        print(link)
        alltitles.append(title)
        alltitleLinks.append(link)
    except:
        pass
----------------------------------------
Tax Havens in Europa: "Finance Ministers Often Couldn't See Through Them"
https://www.spiegel.de/international/world/tax-havens-in-europa-finance-ministers-often-couldn-t-see-through-them-a-d06f7761-eb3a-4a65-94a5-900912f47dc9
----------------------------------------
Baden-Württemberg: Seniorinnen und Senioren können Führerschein gegen ÖPNV-Ticket tauschen
https://www.spiegel.de/auto/baden-wuerttemberg-seniorinnen-und-senioren-koennen-fuehrerschein-gegen-oepnv-ticket-tauschen-a-f4c2e16f-c32d-469a-bd32-18f879cec571
----------------------------------------
Scheidungsauktion in New York": Ausverkauf einer Ehe
https://www.spiegel.de/kultur/auktion-kunstsammlung-von-harry-und-linda-macklowe-a-073c7501-2380-482d-a322-78e257a18eb1
----------------------------------------
Verhaltensökonomin zur Pandemie: »Eine Impfpflicht wäre ein Vertrauensbruch«
https://www.spiegel.de/gesundheit/diagnose/corona-interview-mit-katrin-schmelz-eine-impfpflicht-waere-ein-vertrauensbruch-a-6b5c8bcd-21e1-4508-bc0a-bc1b671897c5
----------------------------------------
Herlinde Koelbl über ihre Porträtsitzungen mit Angela Merkel: »Es ist frappierend, wie sich ihre Körpersprache gewandelt hat«
https://www.spiegel.de/stil/herlinde-koelbl-ueber-angela-merkel-es-ist-frappierend-wie-sich-ihre-koerpersprache-gewandelt-hat-a-9cb2116f-5552-4ee3-820e-1e7d5058baa2
----------------------------------------
»Eine Impfpflicht wäre ein Vertrauensbruch«
https://www.spiegel.de/gesundheit/diagnose/corona-interview-mit-katrin-schmelz-eine-impfpflicht-waere-ein-vertrauensbruch-a-6b5c8bcd-21e1-4508-bc0a-bc1b671897c5
----------------------------------------
Ampelparteien wollen Impfpflicht in einzelnen Bereichen einführen
https://www.spiegel.de/politik/deutschland/corona-ampelparteien-wollen-impfpflicht-in-einzelnen-bereichen-einfuehren-a-ae9d2148-8abf-403e-8922-e519af9b6001
----------------------------------------
Die radikalen Impfgegner vom Alpthal
https://www.spiegel.de/ausland/corona-in-der-schweiz-die-rebellen-vom-alpthal-a-1acbac11-059d-43b2-a4b5-0aa7e7057a4c
----------------------------------------
»Was muss eigentlich noch geschehen, um Sie zu überzeugen?«
https://www.spiegel.de/politik/deutschland/corona-frank-walter-steinmeier-ruft-unentschlossene-zur-corona-impfung-auf-a-e301baec-9395-47f0-bd6d-de5380082a63
----------------------------------------
Krankenhausgesellschaft mahnt Handeln »ohne Tabus« an
https://www.spiegel.de/wissenschaft/medizin/corona-lage-in-koeln-hendrik-wuest-verteidigt-karnevalspartys-vom-11-11-a-ad266418-9a71-40c1-9cfb-124a27fb8d18
----------------------------------------
Italienische Polizei durchsucht Wohnungen von radikalen Gegnern der Coronapolitik
https://www.spiegel.de/panorama/justiz/italien-polizei-durchsucht-wohnungen-von-radikalen-gegnern-der-corona-politik-a-5be4527d-6847-49b6-8987-d7e91561edac
----------------------------------------
Schwesig als Ministerpräsidentin wiedergewählt
https://www.spiegel.de/politik/deutschland/mecklenburg-vorpommern-manuela-schwesig-als-ministerpraesidentin-wiedergewaehlt-a-534bcb05-5434-4f70-a7aa-b8de2e92452e
----------------------------------------
Zaun und Zocker
https://www.spiegel.de/politik/deutschland/belarus-polen-und-die-fluechtlingskrise-zaun-und-zocker-kolumne-von-nikolaus-blome-a-bda8f6d9-8bb0-4181-af37-8bd8dcddf2bb
----------------------------------------
Migrantengruppe an Grenzposten wächst
https://www.spiegel.de/ausland/migrantengruppe-an-grenzposten-waechst-a-9a795a4d-bba1-409b-90e7-111c4265152a
----------------------------------------
»Es ist absurd, Gesten des guten Willens von Russland zu erwarten«
https://www.spiegel.de/wirtschaft/service/russlands-rolle-in-der-gaskrise-europa-ist-sehenden-auges-in-diese-situation-gelaufen-a-cd03b0c6-41d2-41db-b902-68bb0f46580d
----------------------------------------
Kiribati will riesiges Meeresschutzgebiet für kommerziellen Fischfang freigeben
https://www.spiegel.de/wissenschaft/natur/kiribati-will-riesiges-meeresschutzgebiet-fuer-kommerziellen-fischfang-freigeben-a-123554f0-9902-4be4-a78e-d67fce0d3fa7
----------------------------------------
Neue Antikorruptionspartei gewinnt überraschend Parlamentswahl
https://www.spiegel.de/ausland/bulgarien-neue-anti-korruptions-partei-pp-gewinnt-parlamentswahl-a-39150176-31c4-44bd-bfb9-e666b0103637
----------------------------------------
Shell verlegt Hauptsitz nach Großbritannien
https://www.spiegel.de/wirtschaft/unternehmen/shell-oelkonzern-verlegt-hauptsitz-aus-den-niederlanden-nach-grossbritannien-a-23b1a643-04c9-4519-896d-e194709f64b5
----------------------------------------
»Die Minister blickten oft nicht durch«
https://www.spiegel.de/politik/deutschland/eu-steueroasen-die-minister-blickten-oft-nicht-durch-sagt-martijn-nouwen-a-4bb825b1-38ba-4b2d-bdde-5fea3fddc22c
----------------------------------------
Inflation könnte länger andauern als gedacht
https://www.spiegel.de/wirtschaft/ezb-chefin-christine-lagarde-inflation-koennte-laenger-andauern-als-gedacht-a-536ff004-2d4d-4f95-a8f6-7cdce587a57f
----------------------------------------
»Es ist frappierend, wie sich ihre Körpersprache gewandelt hat«
https://www.spiegel.de/stil/herlinde-koelbl-ueber-angela-merkel-es-ist-frappierend-wie-sich-ihre-koerpersprache-gewandelt-hat-a-9cb2116f-5552-4ee3-820e-1e7d5058baa2
----------------------------------------
Encrochat-Verfahren bringen Justiz an Belastungsgrenze
https://www.spiegel.de/panorama/justiz/encrochat-verfahren-bringen-justiz-laut-deutschem-richterbund-an-belastungsgrenze-a-bba575ca-1e95-4b98-9d47-1455dda7d50f
----------------------------------------
Welcher Job lohnt sich – trotz Corona?
https://www.spiegel.de/start/gehalt-waehrend-corona-welcher-job-lohnt-sich-trotz-pandemie-a-7f67ffe3-c517-4098-a96b-097a1219ec96
----------------------------------------
»Ich vergesse immer wieder, dass Sie noch am Leben sind«
https://www.spiegel.de/panorama/leute/elon-musk-ueber-bernie-sanders-vergesse-immer-wieder-dass-sie-noch-am-leben-sind-a-6139b218-d116-4fcb-a371-001118dedb99
----------------------------------------
MTV ehrt lesbische Aktivistin – auf Bühne in Budapest
https://www.spiegel.de/kultur/european-mtv-music-awards-zeichen-gegen-lgbt-feindlichkeit-in-ungarn-a-de91974f-0a8d-4433-a9ff-31a8938de04b
----------------------------------------
»Ich war davon besessen, eine gute Familie zu gründen, weil ich nie aus einer kam«
https://www.spiegel.de/panorama/leute/adele-bei-oprah-winfrey-ich-war-davon-besessen-eine-gute-familie-zu-gruenden-weil-ich-nie-aus-einer-kam-a-79166684-fda6-4bd3-9e93-d95814fa7d7f
----------------------------------------
Ausverkauf einer Ehe
https://www.spiegel.de/kultur/auktion-kunstsammlung-von-harry-und-linda-macklowe-a-073c7501-2380-482d-a322-78e257a18eb1
----------------------------------------
Das Beste von SPIEGEL+
https://www.spiegel.de/plus/
----------------------------------------
Darum zögern manche noch immer, sich impfen zu lassen
https://www.spiegel.de/gesundheit/diagnose/corona-aus-diesen-gruenden-zoegern-ungeimpfte-a-2259225d-ceac-4f57-af0c-655a66b7fa37
----------------------------------------
Manche leugnen ihre Corona-Erkrankung bis zum Tod
https://www.spiegel.de/panorama/gesellschaft/corona-in-sachsen-und-thueringen-manche-leugnen-ihre-covid-19-diagnose-bis-zum-tod-a-e91f4d6b-6778-4f0c-b52c-d0f7f436b4ce
----------------------------------------
Die dunkle Seite von SAP
https://www.spiegel.de/wirtschaft/unternehmen/sap-die-dunkle-seite-des-digitalkonzerns-a-bb2a621a-825c-44ee-be90-e6e74ceeea2d
----------------------------------------
Was bleibt von sechs Monaten Landleben-Test?
https://www.spiegel.de/karriere/summer-of-pioneers-in-homberg-efze-was-bleibt-von-sechs-monaten-landleben-test-a-e5091132-e24c-470e-93cc-634e6d541bfb
----------------------------------------
Videos
https://www.spiegel.de/video/
----------------------------------------
Kommentare und Kolumnen
https://www.spiegel.de/thema/meinung/
----------------------------------------
Die vierte Welle ist politisch
https://www.spiegel.de/wissenschaft/mensch/corona-pandemie-die-vierte-welle-ist-politisch-kolumne-a-9a0a057f-53f0-42cc-b63d-5d65bc80ea5c
----------------------------------------
Nach uns die Cash-Flut
https://www.spiegel.de/wirtschaft/unternehmen/konzerne-nach-uns-die-cash-flut-kolumne-a-58d290aa-c3b7-4eb8-9c68-8b94e57fda9d
----------------------------------------
Wir sollten unser Schicksal einer künstlichen Intelligenz überlassen
https://www.spiegel.de/politik/kuenstliche-intelligenz-wir-sollten-unser-schicksal-einer-ki-ueberlassen-a-20416d73-fbcd-42d3-a52a-85ffad7553ad
----------------------------------------
Schöner querdenken mit der AOK
https://www.spiegel.de/politik/deutschland/homoeopathie-auf-kassenrezept-schoener-querdenken-mit-der-aok-kolumne-a-d68748d2-3bf2-4295-a778-20ad5c86bde8
----------------------------------------
Politik
https://www.spiegel.de/politik/deutschland/
----------------------------------------
Coronamaßnahmen: Ampelfraktionen planen Beschränkungen für Ungeimpfte in Bus und Bahn
https://www.spiegel.de/politik/deutschland/corona-ampel-fraktionen-planen-kontaktbeschraenkungen-fuer-ungeimpfte-a-894ac01c-4473-4751-a675-f9314c03a63a
----------------------------------------
Die Lage am Morgen: Willkommen im Ampel-Corona-Wirrwarr
https://www.spiegel.de/politik/deutschland/news-coronavirus-friedrich-merz-cdu-china-usa-oesterreich-a-79cd1b25-4295-4403-a8e2-49c22269904e
----------------------------------------
Neuausrichtung der Klimapolitik: Wie die Ampel und die CDU eine seltene Chance vergeuden
https://www.spiegel.de/politik/deutschland/neuausrichtung-der-klimapolitik-wie-die-ampel-und-die-cdu-eine-seltene-chance-vergeuden-a-e6cbbcf0-d16b-4b86-b372-b3a538ffd507
----------------------------------------
Ausland
https://www.spiegel.de/ausland/
----------------------------------------
Myanmar: Inhaftierter US-Journalist Fenster überraschend freigelassen
https://www.spiegel.de/ausland/myanmar-inhaftierter-us-journalist-danny-fenster-ueberraschend-freigelassen-a-239bec97-46b0-4e71-a702-656d8acee44a
----------------------------------------
Drama an belarussisch-polnischer Grenze: Irak kündigt Rückführungsflug für Geflüchtete an
https://www.spiegel.de/ausland/belarus-irak-kuendigt-ersten-rueckfuehrungsflug-fuer-gefluechtete-an-polnischer-grenze-an-a-d6f06476-640f-4f4f-b20a-2e99ff12d2c2
----------------------------------------
Coronaprotest: Maori-Stamm fordert Ende von Haka-Aufführungen bei Anti-Impf-Protesten
https://www.spiegel.de/ausland/corona-in-neuseeland-maori-fordern-ende-von-haka-tanz-bei-anti-impf-protesten-a-f9ba2aa0-d61c-47db-80ef-ea808b8a64fe
----------------------------------------
Panorama
https://www.spiegel.de/panorama/
----------------------------------------
Coronamaßnahmen: Frankreich führt Maskenpflicht für Schüler landesweit wieder ein
https://www.spiegel.de/panorama/bildung/corona-massnahmen-frankreich-fuehrt-maskenpflicht-fuer-schueler-landesweit-wieder-ein-a-3108f4d1-05a0-4a0f-bddc-ba62dbc4da79
----------------------------------------
Nach Corona-Ausbruch: China hält Tausende Studierende in Wohnheimen fest
https://www.spiegel.de/panorama/bildung/wegen-corona-china-haelt-tausende-studierende-in-wohnheimen-fest-a-c61f3b2c-dadf-4811-86de-ce55242f411d
----------------------------------------
LKA-Einsatz in Suhl: Mann schießt mit Armbrust auf Polizisten
https://www.spiegel.de/panorama/justiz/suhl-mann-schiesst-mit-armbrust-auf-polizisten-a-72e0fa39-5820-4f91-aef5-b0453ac01124
----------------------------------------
Sport
https://www.spiegel.de/sport/
----------------------------------------
WM-Qualifikation zwischen Argentinien und Brasilien: Vier Kilometer Warteschlange – für ein Fußballticket
https://www.spiegel.de/sport/fussball/wm-qualifikation-argentinien-vs-brasilien-vier-kilometer-lange-autoschlange-fuer-ein-tickets-a-c248d730-c4be-4ed6-9059-82b97c165ce6
----------------------------------------
Hamiltons furiose Aufholjagd in Brasilien: Eine Strafversetzung, die die WM entscheiden könnte
https://www.spiegel.de/sport/formel1/formel-1-in-brasilien-lewis-hamilton-deklassiert-max-verstappen-eine-strafversetzung-die-die-wm-entscheiden-koennte-a-c9b17b36-0cd0-4679-b054-ad13a1f33a46
----------------------------------------
Pressestimmen zur Formel 1: »Mehr als ein Rennen: Karneval!«
https://www.spiegel.de/sport/formel1/formel-1-in-brasilien-lewis-hamilton-und-seine-grandiose-aufholjagd-die-pressestimmen-a-b2816d2b-e761-4ff3-9788-e8b743ce4f2b
----------------------------------------
Wirtschaft
https://www.spiegel.de/wirtschaft/
----------------------------------------
Bis zu 35 Prozent: Kartoffeln, Milch und Getreide deutlich teurer
https://www.spiegel.de/wirtschaft/service/preisanstieg-kartoffeln-milch-und-getreide-sind-deutlich-teurer-geworden-a-1ab0fcc6-7873-469b-b842-afb560bc470c
----------------------------------------
Digitalisierung in der Finanzbranche: »Wer noch eine Bank überfällt, ist eigentlich schön blöd«
https://www.spiegel.de/wirtschaft/banken-es-gibt-kaum-noch-bankraeuber-in-deutschland-digitalisierung-ist-ein-grund-a-83eb967e-bf08-4cb1-ad43-1ea82dac6565
----------------------------------------
255 Flugzeuge vom Typ A321: Airbus erhält Milliardenauftrag
https://www.spiegel.de/wirtschaft/unternehmen/airbus-milliardenauftrag-von-wizz-air-eigner-indigo-ueber-a321-zukunft-fuer-den-a380-a-b6cf4016-0051-49e1-8604-06829b180269
----------------------------------------
Nach CEO-Abgang: Kristall-Imperium Swarovski lässt Externe ran
https://www.manager-magazin.de/unternehmen/swarovski-ex-sap-vorstaendin-luisa-delgado-zieht-in-den-aufsichtsrat-ein-a-db9565f8-f063-4b8a-8e34-b9b646474c54
----------------------------------------
Erbschleicherei: Anschleichen, Abschotten, Abzocken
https://www.manager-magazin.de/finanzen/anschleichen-abschotten-abzocken-a-86fb05e7-1dbe-46a9-99d6-8ebe5b7a510e
----------------------------------------
Wie Viessmann zum Techkonzern wurde: "Wir wollten die Digitalisierung als Jahrhundertchance nutzen"
https://www.manager-magazin.de/unternehmen/industrie/viessmann-martin-und-maximilian-viessmann-im-interview-a-a0c2c681-0002-0001-0000-000179382807
----------------------------------------
Börsenkurse manager magazin
https://boersen.manager-magazin.de
----------------------------------------
Wissenschaft
https://www.spiegel.de/wissenschaft/
----------------------------------------
EU-Umweltagentur EEA: Feinstaubbelastung verursachte mehr als 300.000 Todesfälle in der EU
https://www.spiegel.de/wissenschaft/mensch/feinstaubbelastung-verursachte-mehr-als-300-000-todesfaelle-in-der-eu-a-cdbece2f-76a8-4904-81a7-e40d75b3365b
----------------------------------------
Satellitenbild der Woche: China übt in der Wüste zielen – auf Nachbauten von US-Militärschiffen
https://www.spiegel.de/wissenschaft/weltall/china-uebt-in-der-wueste-auf-us-militaerschiffe-zu-zielen-satellitenbild-der-woche-a-ff995eba-ccc2-46e1-a467-1dd6dd2249a6
----------------------------------------
Coronazahlen des RKI: Sieben-Tage-Inzidenz in Deutschland steigt erstmals über 300
https://www.spiegel.de/wissenschaft/medizin/rki-sieben-tage-inzidenz-in-deutschland-steigt-erstmals-ueber-300-a-267a9192-70df-446b-9d5e-2dacdc59ef7c
----------------------------------------
Netzwelt
https://www.spiegel.de/netzwelt/
----------------------------------------
Videospiel eingestellt: In China gibt es kein »Fortnite« mehr
https://www.spiegel.de/netzwelt/games/fortnite-epic-games-stellt-chinesische-version-des-spiels-ein-a-d51e1476-47d3-447c-858f-b96c5f2fe8b5
----------------------------------------
E-Mail-Dienst gehackt: Betrüger versenden Fake-Mails über FBI-Server
https://www.spiegel.de/netzwelt/web/betrueger-versenden-fake-mails-ueber-fbi-server-a-6cd014f6-1fd7-44cb-945a-cd9b8e40691b
----------------------------------------
Netflix-Serie »Arcane«: So gut – und erfolgreich – kann eine Spielverfilmung sein
https://www.spiegel.de/netzwelt/games/netflix-serie-arcane-so-gut-und-erfolgreich-kann-eine-spielverfilmung-sein-a-6bd3ca11-a051-43c4-a281-aa945341ab48
----------------------------------------
Kultur
https://www.spiegel.de/kultur/
----------------------------------------
Krimi-Vote: Wie gefiel Ihnen der Berliner »Tatort«?
https://www.spiegel.de/kultur/tv/tatort-vote-wie-gefiel-ihnen-die-kalten-und-die-toten-mit-rubin-und-karow-a-8f733c36-e193-4ccc-9ff6-77abc16a91e5
----------------------------------------
Deutschrap-Star Shirin David: »Ich werde jedem mutmaßlichen Opfer einer Vergewaltigung immer glauben«
https://www.spiegel.de/kultur/musik/shirin-david-deutschrap-star-ueber-feminismus-sexismus-und-depressionen-a-a34fbc82-6fa1-4ce6-8a3b-9bd7595e83bc
----------------------------------------
Vom »Prinz von Bel-Air« zum Hollywood-Held: Wo ein Will ist, ist auch ein Weg
https://www.spiegel.de/kultur/will-smith-autobiografie-will-vom-prinz-von-bel-air-zum-hollywood-held-a-03808cb8-5b90-4b0c-97d2-8321cd7f9f8d
----------------------------------------
Job & Karriere
https://www.spiegel.de/karriere/
----------------------------------------
Tipps von der Karriereberaterin: »Perfekte Deutschkenntnisse vorausgesetzt« – warum eigentlich?
https://www.spiegel.de/karriere/perfekte-deutschkenntnisse-vorausgesetzt-warum-eigentlich-a-30fec702-d51e-400a-adf2-3daa8e1bd064
----------------------------------------
Rätsel der Woche: Wie groß ist das gelbe Dreieck?
https://www.spiegel.de/karriere/wie-gross-ist-das-gelbe-dreieck-raetsel-der-woche-a-247a4677-1747-42a7-9f1b-318f20d65f06
----------------------------------------
Entwurf für Gesetzesänderung: Arbeitsministerium will 3G-Regel am Arbeitsplatz
https://www.spiegel.de/karriere/3g-regel-am-arbeitsplatz-arbeitsministerium-will-gesetzesaenderung-a-bf1be74f-2798-40b4-8b03-e38e5ce8a39e
----------------------------------------
Start
https://www.spiegel.de/start/
----------------------------------------
Vorurteile gegen Menschen unter 30: »Es ist heutzutage sehr schwer, jung zu sein«
https://www.spiegel.de/start/michael-north-ueber-altersdiskriminierung-und-vorurteile-gegen-menschen-unter-30-a-4098920d-6c7c-4576-961c-33b63482bc55
----------------------------------------
Berufseinstieg als Psychotherapeut: »Ich tue mich schwer mit Menschen, die Depressionen haben und gleichzeitig Marihuana rauchen«
https://www.spiegel.de/start/psychotherapeut-werden-johannes-lindner-ueber-studium-ausbildung-und-erste-patienten-a-84e1a9cf-d880-437a-a958-5fad1a3d8927
----------------------------------------
Das Beste aus »Kochen ohne Kohle«: Fünf Kartoffelrezepte, die uns durch den Winter bringen
https://www.spiegel.de/start/kochen-ohne-kohle-fuenf-guenstige-rezepte-mit-kartoffeln-fuer-den-winter-a-79e65540-9eda-41bc-af6f-c603cc4eb61d
----------------------------------------
Geschichte
https://www.spiegel.de/geschichte/
----------------------------------------
Von der Flutkatastrophe freigelegt: Wie ein Geschichtslehrer einen vermeintlichen Nazi-Schatz hob
https://www.spiegel.de/geschichte/hagen-wie-die-flutkatastrophe-einen-vermeintlichen-nazi-schatz-freilegte-a-c7b7a211-59e3-48a9-804f-3096145f0437
----------------------------------------
Was macht eigentlich eine Kneipenhistorikerin?: »Unter bürgerlichen Frauen wurde sehr viel getrunken«
https://www.spiegel.de/geschichte/kneipenhistorikerin-mareen-heying-unter-buergerlichen-frauen-wurde-sehr-viel-getrunken-a-24210431-39ac-4637-aecb-f58a50f2c797
----------------------------------------
Neue Forschungen über NS-Verschwörungserzählungen: Hitler? Eilt in Frauenkleidern durch Dublin!
https://www.spiegel.de/geschichte/ns-verschwoerungserzaehlungen-historiker-richard-evans-untersucht-mythen-rund-ums-dritte-reich-a-c9afee6e-2f05-481e-b172-6309fdcb131c
----------------------------------------
Tests
https://www.spiegel.de/tests/
----------------------------------------
Lichtwecker im Test: Wenn im Schlafzimmer eine künstliche Sonne aufgeht
https://www.spiegel.de/tests/elektronik/lichtwecker-im-test-philips-google-lumie-beurer-tfa-a-5541689b-f1d7-4999-b5b0-7aac1cb59936
----------------------------------------
Bestseller Link
https://www.spiegel.de/kultur/bestseller-buecher-belletristik-sachbuch-auf-spiegel-liste-a-458623.html
----------------------------------------
Mobilität
https://www.spiegel.de/auto/
----------------------------------------
Großer Preisvergleich: Wo Bus- und Bahnfahren besonders teuer ist – und wo billig
https://www.spiegel.de/auto/fahrkultur/bvg-hvv-mvg-und-co-wo-bus-und-bahnfahren-besonders-teuer-ist-und-wo-billig-a-d4225435-94e7-4c45-8009-392e97940702
----------------------------------------
Schon nach einem Glas: Alkohol beeinträchtigt Fahrtüchtigkeit auf E-Scootern erheblich
https://www.spiegel.de/auto/e-scooter-alkohol-schwaecht-fahrtuechtigkeit-der-nutzer-stark-a-4f3301d0-7e6e-434b-b96e-1728f6f3aeee
----------------------------------------
Dank Assistenzsystemen: Versicherer rechnen mit bis zu 30 Prozent weniger Autounfällen
https://www.spiegel.de/auto/fahrerassistenzsysteme-versicherer-rechnen-mit-bis-zu-30-prozent-weniger-autounfaellen-a-b07b1c17-14dc-4a7e-a0c5-2847bc577583
----------------------------------------
SPIEGEL Bestseller: Sachbuch Hardcover
https://www.spiegel.de/kultur/literatur/spiegel-bestseller-hardcover-a-1025428.html
----------------------------------------
Leben
https://www.spiegel.de/thema/leben/
----------------------------------------
»Ich war ein kompletter Roboter. Es war eine Tortur«
https://www.spiegel.de/gesundheit/michael-winterhoff-verordnete-psychopharmaka-an-kinder-ich-war-ein-kompletter-roboter-a-53da5aef-52eb-4d62-84ab-cea38c64b30d
----------------------------------------
Geldmaschinen auf vier Pfoten
https://www.spiegel.de/familie/paw-patrol-erfinder-keith-chapman-geldmaschinen-auf-vier-pfoten-a-26dbf60d-3bf8-42e5-839a-b7345395698e
----------------------------------------
Wie richtige Ernährung den Körper ins Gleichgewicht bringen kann
https://www.spiegel.de/gesundheit/ayurveda-mit-ernaehrung-den-stoffwechsel-in-balance-bringen-a-8ff96d9b-ead1-4e04-95f3-7af6bf1a32f6?d
----------------------------------------
Tüten voller Verheißung
https://www.spiegel.de/stil/saatgut-fuer-die-naechste-garten-saison-tueten-voller-verheissung-a-2cad4a40-6cd4-424e-ae04-4dd7a4d70a47
----------------------------------------
Die Kunst der grünen Bahnfahrt
https://www.spiegel.de/reise/europa/buecher-ueber-zugreisen-die-kunst-der-gruenen-bahnfahrt-a-784adb80-bffd-48a2-9d50-2a5c15eec0fb
----------------------------------------
Das Seelentröster-Abc
https://www.spiegel.de/psychologie/selbstfuersorge-das-seelentroester-abc-a-0ceea282-0002-0001-0000-000179750312
----------------------------------------
Produkte im Test
https://www.spiegel.de/tests/
----------------------------------------
So wird das Homeoffice zum Fitnessstudio
https://www.spiegel.de/tests/sportgeraete-im-test-so-wird-das-homeoffice-zum-fitnessstudio-a-42a80594-3a92-4bcf-a559-fc28805cf4ba
----------------------------------------
Blu-ray-Player sind »gut« – fast alle
https://www.spiegel.de/netzwelt/gadgets/blu-ray-player-stiftung-warentest-bewertet-fast-alle-mit-gut-a-1ce8f205-c76e-423a-a555-189ecc544fed
----------------------------------------
Sicher und bequem am Fahrrad arbeiten
https://www.spiegel.de/tests/fahrrad-zubehoer/montagestaender-im-test-sicher-und-bequem-am-fahrrad-arbeiten-a-db27278f-1dd7-4665-ae79-970b0bd85c90
----------------------------------------
Diese Standluftpumpen machen ordentlich Druck
https://www.spiegel.de/tests/fahrrad-zubehoer/standluftpumpen-im-test-druck-machen-a-68667955-c342-4a80-9721-f350f746c663
----------------------------------------
Dein SPIEGEL
https://www.spiegel.de/deinspiegel/
----------------------------------------
Warum sind Tränen salzig?
https://www.spiegel.de/deinspiegel/raetsel-des-alltags-warum-sind-traenen-salzig-a-1f7ec844-0002-0001-0000-000176028054
----------------------------------------
»Gewinnen macht immer am meisten Spaß«
https://www.spiegel.de/deinspiegel/almuth-schult-gewinnen-macht-immer-am-meisten-spass-a-f170a968-0002-0001-0000-000176028056
----------------------------------------
Bild des Tages
https://www.spiegel.de/fotostrecke/bilder-des-tages-fotos-aus-deutschland-und-der-welt-fotostrecke-122824.html

1.2.3. Get all images of the page

Get url of all images, which are currently displayed on www.zeit.de:

imglinks=[]
AllImgs=soup.findAll('img')
for l in AllImgs:
    if l.has_attr('src'):
       imglinks.append(l)

for l in imglinks[:10]:
    print(l['src'])
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
https://cdn.prod.www.spiegel.de/images/a4262e76-bd5f-40f5-8cf3-b8da59ddc739_w872_r1.778_fpx48_fpy45.jpg
https://cdn.prod.www.spiegel.de/images/706de5a3-10a3-4213-87c5-14b32fbeabeb_w117_r1.33_fpx54_fpy51.jpg
https://cdn.prod.www.spiegel.de/images/706de5a3-10a3-4213-87c5-14b32fbeabeb_w488_r1.778_fpx54_fpy51.jpg
https://cdn.prod.www.spiegel.de/images/58bf8c1e-e932-4142-9ba8-13be8d6a6267_w117_r1.33_fpx47.97_fpy49.98.jpg
https://cdn.prod.www.spiegel.de/images/58bf8c1e-e932-4142-9ba8-13be8d6a6267_w117_r1.33_fpx47.97_fpy49.98.jpg
https://cdn.prod.www.spiegel.de/images/58bf8c1e-e932-4142-9ba8-13be8d6a6267_w488_r1.778_fpx47.97_fpy49.98.jpg
https://cdn.prod.www.spiegel.de/images/58bf8c1e-e932-4142-9ba8-13be8d6a6267_w488_r1.778_fpx47.97_fpy49.98.jpg
https://cdn.prod.www.spiegel.de/images/966809db-288f-4387-92ce-cd69a90ebdaf_w488_r1.778_fpx43.2_fpy50.jpg
https://cdn.prod.www.spiegel.de/images/966809db-288f-4387-92ce-cd69a90ebdaf_w488_r1.778_fpx43.2_fpy50.jpg

1.2.4. Get entire text of a news-article

IDX=0
suburl=alltitleLinks[IDX]
try:
    html=urlopen(suburl).read() #works if subdomains are referenced by absolute path
except:
    html=urlopen(url+suburl).read() #works if subdomains are referenced by relative path
soup=BeautifulSoup(html,"html.parser")
AllP=soup.findAll('p')
for p in AllP:
    print(p.get_text())
The Yacht harbor in Valletta, Malta: "The usual suspects"
For decades, a handful of European member states have lured large corporations to set up shop there in exchange for extremely low tax rates that have meant billions in extra earnings. Martijn Nouwen, 37, spent years conducting detective work on the practice, collecting more than 2,500 internal documents from a European Union panel that is supposed to be working to combat these tax-dumping practices. Together with its partners in the European Investigative Collaborations (EIC), DER SPIEGEL reviewed the documents and revealed how nearly 25 years of efforts by the Code of Conduct Group to stop competition for lower corporate tax rates within the EU have been in vain. In an interview, Nouwen, who is now an assistant professor at the University of Leiden, discusses the reasons, some of which are to be found in Berlin.
Tax expert Martijn Nouwen
Andreas Chudowski / DER SPIEGEL
DER SPIEGEL: Mr. Nouwen, the EU has been trying for a quarter of a century to thwart the business of European tax havens like Luxembourg, Cyprus and the Netherlands. Why has the success so far been modest?
Nouwen: Above all, there is a lack of transparency. The deliberations of the Code of Conduct Group, which the European Union created for this purpose, take place behind closed doors. Its documents and minutes are confidential. It was known that this body had an important function, but how it works and whether it was effective in tackling harmful tax practices of countries was largely unknown until now. The aim of my work was above all to shed more light on this darkness.
DER SPIEGEL: You have analyzed around 2,500 internal EU documents from the Group. What is your verdict?
Nouwen: The results are mixed. The group has reached impressive results, and tax competition has become a much more transparent and regulated game. Many harmful competitive tax regimes of countries have been changed or eliminated. At the same time, when a tax loophole was plugged a new one was created and exploited by member states. For example, tax avoidance with aggressive tax business models, letterbox companies and tax rulings are still not adequately addressed. Both small and large member states are still frustrating the development of effective solutions for these problems.
DER SPIEGEL: The goal of governments has always been to lure corporations into their own countries with tax advantages. In this way, they wanted to secure additional income at the expense of their neighbors. Where do the fronts run in this competition?
Nouwen: On the one side there are the usual suspects. Small EU countries like Cyprus and Malta, but also the Netherlands, Belgium and Luxembourg. They blocked the group's work in many areas wherever they could. Especially during the group’s first 15 years of existence. But large countries were also often reluctant. Germany, for example, is still blocking an agreement on the publication of tax rulings granted by tax authorities to multinationals, because it wants to take into account the competencies of its federal states. Britain, on the other hand, had the interests of its low-tax islands Jersey or Guernsey in mind. This made the group's work even more difficult.
DER SPIEGEL: What role did the European finance ministers play?
Nouwen: They had set up the group to stop harmful tax practices and to keep the (European) Commission from using the legal state aid weapon. By cleaning their corporate tax systems themselves in the group, member states retained their much-cherished tax sovereignty, while this saved the Commission considerable state aid investigation efforts. Strangely enough, however, the ministers were happy to have little to do with the body after the group’s first cleaning exercise was finished in 2003. Since then, they just adopt the sixth-monthly progress reports of the group without any discussion. Not even if member states violate their commitment to repeal a regime, or block of frustrate solutions on important tax avoidance matters.
DER SPIEGEL: What was the reason for that?
Nouwen: For one thing, the tax avoidance problems are often so complicated that finance ministers and their technical assistants often couldn't see through them. For another, the governments wanted to avoid disputes. After all, there were other, often more important, political issues in Europe. They had to choose their battles, and tackling tax avoidance was certainly often not one of them.
DER SPIEGEL: Do you think a reform of the group is possible?
Nouwen: Yes, and it is urgently needed. Steps must be taken to increase the transparency and democratic legitimacy of the group. The group needs a political chair with high-level leadership to reinforce link with (EU) finance ministers in ECOFIN, and international organization like the Organization for Economic Cooperation and Development. This is currently lacking. It would also be helpful if the chair were present at the deliberations of the finance ministers. That would give the issue greater prominence. It is important that the finance ministers actually discuss harmful tax competition and also name and shame the troublemakers in the group. What is lacking above all is transparency.
DER SPIEGEL: How could this be achieved?
Nouwen: There are sensitive proposals on the table. For example, the Dutch government has recently suggested publishing a detailed report with member states’ positions after each meeting of the group. That would be a step in the right direction, but unfortunately several member states, including Germany, rejected this proposal. This does not increase credibility, but creates new mistrust.

SPIEGEL+-Zugang wird gerade auf einem anderen Gerät genutzt


SPIEGEL+ kann nur auf einem Gerät zur selben Zeit genutzt werden.


Klicken Sie auf den Button, spielen wir den Hinweis auf dem anderen Gerät aus und Sie können SPIEGEL+ weiter nutzen.


The Yacht harbor in Valletta, Malta: "The usual suspects"
Tax expert Martijn Nouwen
Andreas Chudowski / DER SPIEGEL
Melden Sie sich an und diskutieren Sie mit

1.2.5. Questions and Remarks

  1. This notebook demonstrates how raw-text can be crawled from news-sites. But what is the drawback of this method?

  2. Execute the entire notebook also for www.spiegel.de and www.sueddeutsche.de.

  3. What do you observe? How to solve the problem?