Skip to content

Commit 493b734

Browse files
MaxDallMaxDall
committed
sort parser test case attributes
1 parent 63a462d commit 493b734

39 files changed

+501
-379
lines changed

‎scripts/generate_parser_test_files.py

+1-1
Original file line numberDiff line numberDiff line change
@@ -51,7 +51,7 @@ def get_test_article(enum: PublisherEnum) -> Optional[Article]:
5151
args = parser.parse_args()
5252

5353
# sort args.attributes for consistency
54-
args.attributes = list(sorted(args.attributes)) or attributes_required_to_cover
54+
args.attributes = sorted(set(args.attributes) or attributes_required_to_cover)
5555

5656
basic_logger.setLevel(WARN)
5757

‎tests/resources/parser/test_data/at/ORF.json

+3-3
Original file line numberDiff line numberDiff line change
@@ -3,8 +3,6 @@
33
"authors": [
44
"ORF.at"
55
],
6-
"publishing_date": "2023-04-28 18:03:46.463000+00:00",
7-
"title": "Mädchen bei Straßenbahnunfall in Wien verletzt",
86
"body": {
97
"summary": [],
108
"sections": [
@@ -16,6 +14,8 @@
1614
]
1715
}
1816
]
19-
}
17+
},
18+
"publishing_date": "2023-04-28 18:03:46.463000+00:00",
19+
"title": "Mädchen bei Straßenbahnunfall in Wien verletzt"
2020
}
2121
}

‎tests/resources/parser/test_data/de/BerlinerZeitung.json

+7-7
Original file line numberDiff line numberDiff line change
@@ -3,12 +3,6 @@
33
"authors": [
44
"AFP"
55
],
6-
"publishing_date": "2023-04-28 17:52:31.847000+00:00",
7-
"title": "550 Kinder gezeugt: Gericht stoppt übereifrigen Samenspender",
8-
"topics": [
9-
"News",
10-
"Niederlande"
11-
],
126
"body": {
137
"summary": [
148
"Nach der Zeugung von mindestens 550 Kindern hat ein niederländisches Gericht einen übereifrigen Samenspender gestoppt. Das Gericht untersagte dem Mann am Freitag jede weitere Samenspende. Bei einem Verstoß muss er 100.000 Euro Strafe zahlen. Eine Frau, die durch eine Samenspende des Mannes ein Kind bekam, und die Stiftung Donorkind hatten den 41-Jährigen verklagt. Weil er in Online-Netzwerken weiter seine Dienste anbot, wurde er nun im Eilverfahren verurteilt."
@@ -59,6 +53,12 @@
5953
"paragraphs": []
6054
}
6155
]
62-
}
56+
},
57+
"publishing_date": "2023-04-28 17:52:31.847000+00:00",
58+
"title": "550 Kinder gezeugt: Gericht stoppt übereifrigen Samenspender",
59+
"topics": [
60+
"News",
61+
"Niederlande"
62+
]
6363
}
6464
}

‎tests/resources/parser/test_data/de/Bild.json

+13-13
Original file line numberDiff line numberDiff line change
@@ -3,18 +3,6 @@
33
"authors": [
44
"JÖRG ZSCHOCHE"
55
],
6-
"publishing_date": "2023-05-15 11:52:09.860000+00:00",
7-
"title": "Bubi-Bomber wieder da: Thioune fordert Geduld mit Niemiec",
8-
"topics": [
9-
"Fortuna Düsseldorf",
10-
"zweite Bundesliga",
11-
"aufstieg",
12-
"Jörg Zschoche",
13-
"Thioune Daniel",
14-
"Saison 2022-2023",
15-
"Sport – Leuchtturm Essen",
16-
"Niemiec Jona"
17-
],
186
"body": {
197
"summary": [
208
"Es war bereits der zwölfte Einsatz in der 2. Bundesliga von Fortuna Düsseldorfs Bubi Jona Niemiec (21). Kaum nach 67 Minuten eingewechselt, scheiterte der Stürmer nur an der Latte. Doch war er beim 0:0 auf Pauli eine Bereicherung."
@@ -30,6 +18,18 @@
3018
]
3119
}
3220
]
33-
}
21+
},
22+
"publishing_date": "2023-05-15 11:52:09.860000+00:00",
23+
"title": "Bubi-Bomber wieder da: Thioune fordert Geduld mit Niemiec",
24+
"topics": [
25+
"Fortuna Düsseldorf",
26+
"zweite Bundesliga",
27+
"aufstieg",
28+
"Jörg Zschoche",
29+
"Thioune Daniel",
30+
"Saison 2022-2023",
31+
"Sport – Leuchtturm Essen",
32+
"Niemiec Jona"
33+
]
3434
}
3535
}

‎tests/resources/parser/test_data/de/BusinessInsider.json

+32
Original file line numberDiff line numberDiff line change
@@ -3,6 +3,38 @@
33
"authors": [
44
"Matthew Loh"
55
],
6+
"body": {
7+
"summary": [
8+
"Evergrande, einer der größten Immobilienentwickler Chinas, ist mit 300 Milliarden Dollar (277 Milliarden Euro) verschuldet.",
9+
"Das ist die größte Schuldenlast, die ein Unternehmen derzeit weltweit hat.",
10+
"Analysten befürchten, dass der Zusammenbruch von Evergrande Schockwellen durch die chinesische Wirtschaft schicken würde."
11+
],
12+
"sections": [
13+
{
14+
"headline": [],
15+
"paragraphs": [
16+
"Evergrande, einst der zweitgrößte Immobilienentwickler Chinas nach Umsatz, wird am Montag auf Anordnung eines Hongkonger Gerichts liquidiert.",
17+
"Die Entscheidung markiert den Abschluss einer zweijährigen Krise des in Shenzhen ansässigen Bauträgers, der im September 2021 signalisierte, dass er Kredite in Höhe von 300 Milliarden Dollar (277 Milliarden Euro) an Hunderte von Banken und Finanzunternehmen nicht mehr zurückzahlen könne.",
18+
"Analysten befürchten seit langem, dass der Zusammenbruch des umkämpften Immobiliengiganten Schockwellen über Chinas bereits ins Stocken geratene Wirtschaft aussenden und möglicherweise sogar ausländische Firmen destabilisieren würde. Experten sprachen damals von Chinas „Lehman Brothers Moment“.",
19+
"Um euch das Ausmaß des ehemaligen chinesischen Immobilienlieblings zu verdeutlichen, haben wir einige Statistiken und Vergleiche zusammengestellt, die das Ganze ins rechte Licht rücken."
20+
]
21+
},
22+
{
23+
"headline": [
24+
"Statistiken, die die enorme Größe von Evergrande, Chinas sterbendem Immobilienriesen, verdeutlichen"
25+
],
26+
"paragraphs": [
27+
"Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) \r\n\r\nZur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.\r\n\r",
28+
"Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) \r\n\r\nZur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.\r\n\r",
29+
"Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) \r\n\r\nZur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.\r\n\r",
30+
"Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) \r\n\r\nZur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.\r\n\r",
31+
"Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) \r\n\r\nZur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.\r\n\r",
32+
"Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) \r\n\r\nZur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.\r\n\r",
33+
"Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) \r\n\r\nZur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.\r\n\r"
34+
]
35+
}
36+
]
37+
},
638
"publishing_date": "2024-01-29 19:00:45+00:00",
739
"title": "Wie groß ist Evergrande, Chinas strauchelnder Immobilienriese?",
840
"topics": [

‎tests/resources/parser/test_data/de/DW.json

+18-18
Original file line numberDiff line numberDiff line change
@@ -3,16 +3,6 @@
33
"authors": [
44
"Roman Goncharenko"
55
],
6-
"publishing_date": "2023-04-28 00:00:00",
7-
"title": "Ukrainische Gegenoffensive: Ziele, Chancen, Risiken",
8-
"topics": [
9-
"Ukrainekrieg",
10-
"Ukraine",
11-
"Russland",
12-
"Bachmut",
13-
"Waffenlieferungen",
14-
"Gegenoffensive"
15-
],
166
"body": {
177
"summary": [
188
"Die Ukraine bereitet sich auf eine womöglich entscheidende Gegenoffensive vor, um die von Russland besetzten Gebiete zu befreien. Je länger Kiew wartet, desto besser scheinen seine Chancen. "
@@ -65,19 +55,23 @@
6555
]
6656
}
6757
]
68-
}
58+
},
59+
"publishing_date": "2023-04-28 00:00:00",
60+
"title": "Ukrainische Gegenoffensive: Ziele, Chancen, Risiken",
61+
"topics": [
62+
"Ukrainekrieg",
63+
"Ukraine",
64+
"Russland",
65+
"Bachmut",
66+
"Waffenlieferungen",
67+
"Gegenoffensive"
68+
]
6969
},
7070
"V2": {
7171
"authors": [
7272
"Julia Vergin",
7373
"Clare Roth"
7474
],
75-
"publishing_date": "2023-06-13 12:15:32.158000+00:00",
76-
"title": "Post-Vac-Syndrom nach COVID-19-Impfung: Was wissen wir? ",
77-
"topics": [
78-
"Long COVID",
79-
"Coronavirus"
80-
],
8175
"body": {
8276
"summary": [
8377
"Müdigkeit und Muskelschmerzen: Jede Impfung kann Nebenwirkungen haben, auch die gegen COVID-19. Doch es ist sehr schwer das sogenannte Post-Vac-Syndrom zu diagnostizieren. Was wissen wir über diese Impfschäden? "
@@ -136,6 +130,12 @@
136130
]
137131
}
138132
]
139-
}
133+
},
134+
"publishing_date": "2023-06-13 12:15:32.158000+00:00",
135+
"title": "Post-Vac-Syndrom nach COVID-19-Impfung: Was wissen wir? ",
136+
"topics": [
137+
"Long COVID",
138+
"Coronavirus"
139+
]
140140
}
141141
}

‎tests/resources/parser/test_data/de/DieWelt.json

+10-10
Original file line numberDiff line numberDiff line change
@@ -3,15 +3,6 @@
33
"authors": [
44
"Holger Zschäpitz"
55
],
6-
"publishing_date": "2023-04-28 18:03:06+00:00",
7-
"title": "BIP: Diese Grafiken zeigen, wie schlecht es um Deutschlands Wirtschaft steht",
8-
"topics": [
9-
"Zschaepitz-Holger",
10-
"Rezession",
11-
"Konjunkturpolitik",
12-
"Wachstum",
13-
"Bruttoinlandsprodukt (BIP)"
14-
],
156
"body": {
167
"summary": [
178
" Die deutsche Wirtschaft stagniert, während andere europäische Volkswirtschaften im ersten Quartal positiv überraschen. Experten prognostizieren, dass es keine Erholung geben wird. Deutschland ist das Schlusslicht in Europa – und die Rezession kommt immer näher. "
@@ -42,6 +33,15 @@
4233
]
4334
}
4435
]
45-
}
36+
},
37+
"publishing_date": "2023-04-28 18:03:06+00:00",
38+
"title": "BIP: Diese Grafiken zeigen, wie schlecht es um Deutschlands Wirtschaft steht",
39+
"topics": [
40+
"Zschaepitz-Holger",
41+
"Rezession",
42+
"Konjunkturpolitik",
43+
"Wachstum",
44+
"Bruttoinlandsprodukt (BIP)"
45+
]
4646
}
4747
}

‎tests/resources/parser/test_data/de/DieZeit.json

+11-11
Original file line numberDiff line numberDiff line change
@@ -3,16 +3,6 @@
33
"authors": [
44
"dpa"
55
],
6-
"publishing_date": "2023-04-28 20:22:00+02:00",
7-
"title": "Basketball-Euroleague: Nach Massenschlägerei in Madrid: Sanktionen und Reue",
8-
"topics": [
9-
"News",
10-
"Basketball-Euroleague",
11-
"Sergio Llull",
12-
"Real Madrid",
13-
"Partizan Belgrad",
14-
"Massenschlägerei"
15-
],
166
"body": {
177
"summary": [],
188
"sections": [
@@ -36,6 +26,16 @@
3626
]
3727
}
3828
]
39-
}
29+
},
30+
"publishing_date": "2023-04-28 20:22:00+02:00",
31+
"title": "Basketball-Euroleague: Nach Massenschlägerei in Madrid: Sanktionen und Reue",
32+
"topics": [
33+
"News",
34+
"Basketball-Euroleague",
35+
"Sergio Llull",
36+
"Real Madrid",
37+
"Partizan Belgrad",
38+
"Massenschlägerei"
39+
]
4040
}
4141
}

‎tests/resources/parser/test_data/de/FAZ.json

+12-12
Original file line numberDiff line numberDiff line change
@@ -3,17 +3,6 @@
33
"authors": [
44
"Ralf Euler"
55
],
6-
"publishing_date": "2023-04-28 19:20:36+02:00",
7-
"title": "49-Euro-Ticket: Pendler zahlen 60 Prozent weniger",
8-
"topics": [
9-
"RMV",
10-
"Rhein-Main-Verkehrsverbund",
11-
"AfD",
12-
"Deutsche Bahn",
13-
"Deutschlandticket",
14-
"Preissturz",
15-
"Pendler"
16-
],
176
"body": {
187
"summary": [
198
"\t\t\tAlles wird teurer, nur nicht der ÖPNV. Allein der Rhein-Main-Verkehrsverbund hat mehr als 120.000 Deutschlandtickets verkauft - mehr als ein Drittel davon an Kunden, die bislang selten oder nie Bus oder Bahn fahren.\n\t\t"
@@ -50,6 +39,17 @@
5039
]
5140
}
5241
]
53-
}
42+
},
43+
"publishing_date": "2023-04-28 19:20:36+02:00",
44+
"title": "49-Euro-Ticket: Pendler zahlen 60 Prozent weniger",
45+
"topics": [
46+
"RMV",
47+
"Rhein-Main-Verkehrsverbund",
48+
"AfD",
49+
"Deutsche Bahn",
50+
"Deutschlandticket",
51+
"Preissturz",
52+
"Pendler"
53+
]
5454
}
5555
}

‎tests/resources/parser/test_data/de/Focus.json

+15-15
Original file line numberDiff line numberDiff line change
@@ -3,20 +3,6 @@
33
"authors": [
44
"FOCUS online"
55
],
6-
"publishing_date": "2023-04-28 17:25:31+00:00",
7-
"title": "Lego feiert Star-Wars-Tag: Alle Angebote im Überblick",
8-
"topics": [
9-
"Lego",
10-
"Helm",
11-
"Diorama",
12-
"Prominenz",
13-
"Star Wars Day",
14-
"Rabatt",
15-
"Provision",
16-
"Kalender",
17-
"Death Metal",
18-
"Jedi"
19-
],
206
"body": {
217
"summary": [
228
"Bald heißt es wieder „May the 4th be with you“! Lego wartet zum Star-Wars-Tag am 4. Mai schon im Vorfeld mit zahlreichen Angeboten auf, die sich vor allem an erwachsene Fans der Science-Fiction-Saga richten. Neben neuen Modellen gibt es im Online-Shop von Lego mehrere Gratiszugaben und sogar ein Gewinnspiel zu entdecken."
@@ -62,6 +48,20 @@
6248
]
6349
}
6450
]
65-
}
51+
},
52+
"publishing_date": "2023-04-28 17:25:31+00:00",
53+
"title": "Lego feiert Star-Wars-Tag: Alle Angebote im Überblick",
54+
"topics": [
55+
"Lego",
56+
"Helm",
57+
"Diorama",
58+
"Prominenz",
59+
"Star Wars Day",
60+
"Rabatt",
61+
"Provision",
62+
"Kalender",
63+
"Death Metal",
64+
"Jedi"
65+
]
6666
}
6767
}

‎tests/resources/parser/test_data/de/MDR.json

+15-15
Original file line numberDiff line numberDiff line change
@@ -3,20 +3,6 @@
33
"authors": [
44
"David Straub"
55
],
6-
"publishing_date": "2023-04-28 05:00:00+02:00",
7-
"title": "Ist die Thüringer Bratwurst eine Illusion? Das harte Geschäft mit dem Tod",
8-
"topics": [
9-
"Nachrichten",
10-
"Fleisch",
11-
"Schwein",
12-
"Schlachtung",
13-
"Landstolz",
14-
"Schmalkalden",
15-
"Holland-Moritz",
16-
"Rinder",
17-
"Grafik",
18-
"Zahlen"
19-
],
206
"body": {
217
"summary": [
228
"Beim Fleischkonsum gehört Thüringen zu den Spitzenreitern - doch tatsächlich geschlachtet werden im Freistaat immer weniger Tiere. Naht das Ende der echten Thüringer Bratwurst? Zu Besuch beim mittelständischen Schlachtbetrieb \"Thüringer Landstolz\"."
@@ -106,6 +92,20 @@
10692
]
10793
}
10894
]
109-
}
95+
},
96+
"publishing_date": "2023-04-28 05:00:00+02:00",
97+
"title": "Ist die Thüringer Bratwurst eine Illusion? Das harte Geschäft mit dem Tod",
98+
"topics": [
99+
"Nachrichten",
100+
"Fleisch",
101+
"Schwein",
102+
"Schlachtung",
103+
"Landstolz",
104+
"Schmalkalden",
105+
"Holland-Moritz",
106+
"Rinder",
107+
"Grafik",
108+
"Zahlen"
109+
]
110110
}
111111
}

0 commit comments

Comments
 (0)