Merge pull request #688 from flairNLP/add-sankei-shimbun

Add `SankeiShimbun`

Author: MaxDall

docs/supported_publishers.md

@@ -1299,6 +1299,21 @@
       <td>&#160;</td>
       <td>&#160;</td>
     </tr>
+    <tr>
+      <td>
+        <code>SankeiShimbun</code>
+      </td>
+      <td>
+        <div>Sankei Shimbun</div>
+      </td>
+      <td>
+        <a href="https://www.sankei.com/">
+          <span>www.sankei.com</span>
+        </a>
+      </td>
+      <td>&#160;</td>
+      <td>&#160;</td>
+    </tr>
     <tr>
       <td>
         <code>TheJapanNews</code>

src/fundus/publishers/jp/__init__.py

@@ -1,13 +1,15 @@
 from fundus.publishers.base_objects import Publisher, PublisherGroup
-from fundus.publishers.jp.asahi_shimbun import AsahiShimbunParser
-from fundus.publishers.jp.mainichi_shimbun import MainichiShimbunParser
-from fundus.publishers.jp.nikkei import NikkeiParser
-from fundus.publishers.jp.the_japan_news import TheJapanNewsParser
-from fundus.publishers.jp.tokyo_chunichi_shimbun import TokyoChunichiShimbunParser
-from fundus.publishers.jp.yomiuri_shimbun import YomiuriShimbunParser
 from fundus.scraping.filter import inverse, regex_filter
 from fundus.scraping.url import NewsMap, RSSFeed, Sitemap
 
+from .asahi_shimbun import AsahiShimbunParser
+from .mainichi_shimbun import MainichiShimbunParser
+from .nikkei import NikkeiParser
+from .sankei_shimbun import SankeiShimbunParser
+from .the_japan_news import TheJapanNewsParser
+from .tokyo_chunichi_shimbun import TokyoChunichiShimbunParser
+from .yomiuri_shimbun import YomiuriShimbunParser
+
 
 class JP(metaclass=PublisherGroup):
     TheJapanNews = Publisher(
@@ -74,3 +76,13 @@ class JP(metaclass=PublisherGroup):
             )
         ],
     )
+
+    SankeiShimbun = Publisher(
+        name="Sankei Shimbun",
+        domain="https://www.sankei.com/",
+        parser=SankeiShimbunParser,
+        sources=[
+            # The Google sitemap https://www.sankei.com/feeds/google-sitemapindex/ is included here as well
+            NewsMap("https://www.sankei.com/feeds/sitemapindex-category/?outputType=xml"),
+        ],
+    )

src/fundus/publishers/jp/sankei_shimbun.py

@@ -0,0 +1,65 @@
+import datetime
+import re
+from typing import List, Optional
+
+from lxml.cssselect import CSSSelector
+from lxml.etree import XPath
+
+from fundus.parser import ArticleBody, BaseParser, Image, ParserProxy, attribute
+from fundus.parser.utility import (
+    extract_article_body_with_selector,
+    generic_author_parsing,
+    generic_date_parsing,
+    generic_nodes_to_text,
+    generic_topic_parsing,
+    image_extraction,
+)
+
+
+class SankeiShimbunParser(ParserProxy):
+    class V1(BaseParser):
+        _paragraph_selector = XPath(
+            "//div[contains(@class, 'article-body')] "
+            "/p[contains(@class, 'article-text ') and (text() or not(child::a))]"
+        )
+        _subheadline_selector = CSSSelector("div.article-body > h2")
+
+        _topic_selector = CSSSelector("ul.section-list > li")
+
+        @attribute
+        def body(self) -> Optional[ArticleBody]:
+            return extract_article_body_with_selector(
+                self.precomputed.doc,
+                paragraph_selector=self._paragraph_selector,
+                subheadline_selector=self._subheadline_selector,
+            )
+
+        @attribute
+        def title(self) -> Optional[str]:
+            return self.precomputed.meta.get("og:title")
+
+        @attribute
+        def authors(self) -> List[str]:
+            return [
+                author for author in generic_author_parsing(self.precomputed.meta.get("author")) if "産経新聞" not in author
+            ]
+
+        @attribute
+        def publishing_date(self) -> Optional[datetime.datetime]:
+            return generic_date_parsing(self.precomputed.ld.bf_search("datePublished"))
+
+        @attribute
+        def topics(self) -> List[str]:
+            if topic_nodes := self._topic_selector(self.precomputed.doc):
+                return generic_topic_parsing("・".join(generic_nodes_to_text(topic_nodes)), "・")
+            return []
+
+        @attribute
+        def images(self) -> List[Image]:
+            return image_extraction(
+                doc=self.precomputed.doc,
+                paragraph_selector=self._paragraph_selector,
+                lower_boundary_selector=CSSSelector("div.article-footer-wrapper"),
+                # https://regex101.com/r/gljUs9/1
+                author_selector=re.compile(r"（.*?(?P<credits>[^（、]*?)撮影）"),
+            )

tests/resources/parser/test_data/jp/SankeiShimbun.json

@@ -0,0 +1,88 @@
+{
+  "V1": {
+    "authors": [
+      "大渡 美咲"
+    ],
+    "body": {
+      "summary": [],
+      "sections": [
+        {
+          "headline": [],
+          "paragraphs": [
+            "昨年の元日に起きた能登半島地震を受け、救出救助活動に不可欠な警察の情報通信環境の整備が全国で進められる中、このほど、警視庁管内の警察無線不感地帯の解消が図られた。警察では万一に備え、幾重にも情報通信システムが確保されているが、今後も、それらの環境改善を図っていくといい、住民らの安心感につなげたい考えだ。"
+          ]
+        },
+        {
+          "headline": [
+            "アンテナ改善で解消"
+          ],
+          "paragraphs": [
+            "能登半島地震を受け東京都警察情報通信部（都通）が警視庁管内の11の有人島で、警察無線の環境調査を実施した。その結果、小笠原諸島の母島で、不感地帯が確認されたという。母島では、沖港周辺以外は不感地帯が多く、携帯電話も圏外が目立った。",
+            "母島にある唯一の小笠原署母島駐在所に勤務しているのは、荻田卓警部補（41）と小沢俊介巡査部長（41）。2人によると、遭難事故や台風に伴う土砂崩れによる通行止めが発生した際には携帯電話や警察無線が通じる場所までパトカーなどで何度も往復しながら活動を行うケースもあったという。",
+            "このため、調査結果を踏まえ、都通は3回に渡り、機動通信1課の吉田孝太技官（23）を母島に派遣して、無線通話試験を繰り返した。そして昨年7月にはパトカーの無線やアンテナを改善するなどして全ての警察無線の不感地帯を解消させたという。「迅速な対応につながる」。島民の商店経営、前田豊さん（56）からも安堵の声が漏れる。",
+            "場所によっては、今後もアンテナの角度調整など駐在員による「作業」も必要になるが、これで約50キロ離れた父島にある小笠原署や1050キロ離れた警視庁本部と直接通話が可能となった。荻田警部補は「新たな手法を最大限活用できるよう日々訓練したい」と話している。"
+          ]
+        },
+        {
+          "headline": [
+            "停電や道路寸断、課題解決へ"
+          ],
+          "paragraphs": [
+            "警察では、警察無線だけではなく、電気通信事業者の専用回線や衛星通信回線など幾重にも通信手段を確保。警察庁によると、阪神大震災や東日本大震災、能登半島地震など過去の大きな地震発生時でも警察無線は途絶えることなく機能してきたという。",
+            "一方、災害時に浮かび上がった課題の解消にも警察は力を入れる。",
+            "平成30年に起きた北海道胆振東部地震では、北海道全域が停電するブラックアウトが発生。停電時は無線中継所は非常用発電に切り替わるが、停電が長引けば発電に必要な燃料の枯渇も想定された。このため、全国で燃料タンクの大型化が進められたという。",
+            "東日本大震災や能登半島地震では、道路網が寸断されるなどし、技官らが徒歩で山を上ったり、ヘリで降下したりして、非常用発電の燃料補給を支えた。その経験を踏まえて日ごろから都道府県警と技官らが連携し、ヘリ降下訓練などを実施する体制も強化している。"
+          ]
+        }
+      ]
+    },
+    "images": [
+      {
+        "versions": [
+          {
+            "url": "https://www.sankei.com/resizer/Tii6Nvyl1QRJ4Xz09QQvazkUoCg=/1200x0/smart/filters:quality(40)/cloudfront-ap-northeast-1.images.arcpublishing.com/sankei/C5TD7WETVJI4PD34ZPGQDC5SJM.jpg",
+            "query_width": null,
+            "size": {
+              "width": 1200,
+              "height": 0
+            },
+            "type": "image/jpeg"
+          }
+        ],
+        "is_cover": true,
+        "description": "新型無線機を搭載したパトカーを使い、母島で通話試験を行う都通機動通信1課の吉田孝太技官（警視庁提供）",
+        "caption": "新型無線機を搭載したパトカーを使い、母島で通話試験を行う都通機動通信1課の吉田孝太技官（警視庁提供）",
+        "authors": [],
+        "position": 487
+      },
+      {
+        "versions": [
+          {
+            "url": "https://www.sankei.com/resizer/BP5e_8MyiagHLJ0UnJevOT0Bo6Q=/0x224/smart/filters:quality(70)/cloudfront-ap-northeast-1.images.arcpublishing.com/sankei/DW65IVHR65OKVCZ73WSAZCVUPQ.jpg",
+            "query_width": null,
+            "size": {
+              "width": 0,
+              "height": 0
+            },
+            "type": "image/jpeg"
+          }
+        ],
+        "is_cover": false,
+        "description": null,
+        "caption": null,
+        "authors": [],
+        "position": 524
+      }
+    ],
+    "publishing_date": "2025-01-21 20:50:32+09:00",
+    "title": "小笠原諸島の警察無線「不感地帯」解消　以前は電波を探し警察官が往復　住民から安堵の声",
+    "topics": [
+      "社会",
+      "地震",
+      "災害",
+      "地方",
+      "関東",
+      "東京"
+    ]
+  }
+}

tests/resources/parser/test_data/jp/SankeiShimbun_2025_01_21.html.gz

@@ -15,6 +15,10 @@
     "url": "https://www.nikkei.com/article/DGXZQOUB148MY0U5A110C2000000/",
     "crawl_date": "2025-01-27 16:41:04.576095"
   },
+  "SankeiShimbun_2025_01_21.html.gz": {
+    "url": "https://www.sankei.com/article/20250121-QBJP5I25BBIG5IZ76XZNDHDB5Q/",
+    "crawl_date": "2025-01-21 14:16:41.656839"
+  },
   "TheJapanNews_2024_10_13.html.gz": {
     "url": "https://japannews.yomiuri.co.jp/politics/politics-government/20241013-216478/",
     "crawl_date": "2024-10-13 16:27:01.520980"