rss-fetcher generated RSS feed contains URLs without schema

[philbudne]

(venv) pbudne@ifill:~/done$ ls mc*
mc-2023-12-02.rss.gz  mc-2023-12-21.rss.gz  mc-2023-12-25.rss.gz

(venv) pbudne@ifill:~/done$ zgrep '<link>//' mc-2023-12-* | wc
    567    4732  152495

(venv) pbudne@ifill:~/done$ zgrep '<link>//' mc-2023-12-25.rss.gz | head -10
<item><link>//elpinguino.com/noticia/2023/12/24/parlamentarios-oficialistas-descartan-a-michelle-bachelet-como-candidata-presidencial</link><pubDate>Mon, 25 Dec 2023 00:00:00 -0000</pubDate><domain>elpinguino.com</domain><title>Parlamentarios oficialistas descartan a Michelle Bachelet como candidata presidencial</title></item>
<item><link>//elpinguino.com/noticia/2023/12/24/mas-alla-del-pesebre-</link><pubDate>Sun, 24 Dec 2023 23:44:30 -0000</pubDate><domain>elpinguino.com</domain><title>Más allá del pesebre</title></item>
<item><link>//elpinguino.com/noticia/2023/12/24/procultura-activa-ofensiva-judicial-y-presenta-querellas</link><pubDate>Sun, 24 Dec 2023 23:00:00 -0000</pubDate><domain>elpinguino.com</domain><title>ProCultura activa ofensiva judicial y presenta querellas</title></item>
<item><link>//elpinguino.com/noticia/2023/12/24/al-celebrar-la-navidad</link><pubDate>Sun, 24 Dec 2023 22:14:30 -0000</pubDate><domain>elpinguino.com</domain><title>Al Celebrar la Navidad</title></item>
<item><link>//elpinguino.com/noticia/2023/12/24/karina-oliva-cuando-sea-declarada-inocente-muchos-tendran-que-pedir-disculpas</link><pubDate>Sun, 24 Dec 2023 22:00:00 -0000</pubDate><domain>elpinguino.com</domain><title>Karina Oliva: “Cuando sea declarada inocente, muchos tendrán que pedir disculpas”</title></item>
<item><link>//elpinguino.com/noticia/2023/12/24/colorin-colorado</link><pubDate>Sun, 24 Dec 2023 21:32:30 -0000</pubDate><domain>elpinguino.com</domain><title>Colorín, colorado</title></item>
<item><link>//elpinguino.com/noticia/2023/12/24/argentina-y-su-inspiracion-en-el--modelo-chileno</link><pubDate>Sun, 24 Dec 2023 21:13:30 -0000</pubDate><domain>elpinguino.com</domain><title>Argentina y su inspiración en el  “modelo chileno”</title></item>
<item><link>//elpinguino.com/noticia/2023/12/24/el-club-de-handball-punta-arenas-deslumbro-en-importante-campeonato-en-colombia</link><pubDate>Sun, 24 Dec 2023 21:00:00 -0000</pubDate><domain>elpinguino.com</domain><title>El Club de Handball Punta Arenas deslumbró en importante campeonato en Colombia</title></item>
<item><link>//elpinguino.com/noticia/2023/12/24/presidente-gabriel-boric-pasara-la-navidad-junto-a-su-familia-en-magallanes</link><pubDate>Sun, 24 Dec 2023 20:45:20 -0000</pubDate><domain>elpinguino.com</domain><title>Presidente Gabriel Boric pasará la Navidad junto a su familia en Magallanes</title></item>
<item><link>//elpinguino.com/noticia/2023/12/24/estres-y-salud-mental-en-epoca-navidena</link><pubDate>Sun, 24 Dec 2023 20:44:00 -0000</pubDate><domain>elpinguino.com</domain><title>Estrés y salud mental en época navideña</title></item>

(venv) pbudne@ifill:~/done$ zgrep '<link>//' mc-2023-12-02.rss.gz  | head -10
<item><link>//report.hebei.com.cn/system/2023/12/01/101244396.shtml</link><pubDate>Fri, 01 Dec 2023 09:37:00 -0000</pubDate><domain>hebei.com.cn</domain><title>@河北人 速来围观！河北省第五次全国经济普查宣传片上线啦</title></item>
<item><link>//report.hebei.com.cn/system/2023/11/30/101243474.shtml</link><pubDate>Fri, 01 Dec 2023 15:51:57 -0000</pubDate><domain>hebei.com.cn</domain><title>你问我答 | 儿童专家刘建华：了解肺炎支原体的那些事儿</title></item>
<item><link>//report.hebei.com.cn/system/2023/11/30/101243682.shtml</link><pubDate>Fri, 01 Dec 2023 15:51:56 -0000</pubDate><domain>hebei.com.cn</domain><title>河北医科大学举办乡村医生培训（定州）基地揭牌暨定州乡村医生能力提升学习班开班仪式</title></item>
<item><link>//report.hebei.com.cn/system/2023/12/01/101244307.shtml</link><pubDate>Fri, 01 Dec 2023 15:51:55 -0000</pubDate><domain>hebei.com.cn</domain><title>你问我答 | 儿童专家曹利静：肺炎支原体的用药指南</title></item>
<item><link>//report.hebei.com.cn/system/2023/12/01/101244346.shtml</link><pubDate>Fri, 01 Dec 2023 15:51:54 -0000</pubDate><domain>hebei.com.cn</domain><title>强强联合！ 神威药业集团与京东集团达成战略合作</title></item>
<item><link>//report.hebei.com.cn/system/2023/11/30/101243748.shtml</link><pubDate>Fri, 01 Dec 2023 09:20:44 -0000</pubDate><domain>hebei.com.cn</domain><title>河北南皮：创新宣讲接地气 炕头说说“家常话”</title></item>
<item><link>//report.hebei.com.cn/system/2023/11/29/101242868.shtml</link><pubDate>Fri, 01 Dec 2023 09:20:09 -0000</pubDate><domain>hebei.com.cn</domain><title>河北元氏：基层宣讲进企业 党的创新理论“声”入人心</title></item>
<item><link>//report.hebei.com.cn/system/2023/12/01/101243938.shtml</link><pubDate>Fri, 01 Dec 2023 09:10:26 -0000</pubDate><domain>hebei.com.cn</domain><title>百姓看联播 | 我在政务大厅当“体验员”</title></item>
<item><link>//report.hebei.com.cn/system/2023/12/01/101243917.shtml</link><pubDate>Fri, 01 Dec 2023 07:36:58 -0000</pubDate><domain>hebei.com.cn</domain><title>百姓看联播 | 冬游河北，解锁新玩法</title></item>
<item><link>//report.hebei.com.cn/system/2023/11/24/101241060.shtml</link><pubDate>Fri, 24 Nov 2023 17:34:11 -0000</pubDate><domain>hebei.com.cn</domain><title>长城热点 | 贵州一学生被老师扇打后强制带离？教育部门：正在核实</title></item>

(venv) pbudne@ifill:~/done$ zgrep '<link>//' mc-2023-12-02.rss.gz  | grep akhbaar
<item><link>//akhbaar.org/home/2023/12/303652.html</link><pubDate>Sat, 02 Dec 2023 16:29:00 -0000</pubDate><domain>akhbaar.org</domain><title>مقتل عنصرين من الحرس الثوري الإيراني في سوريا</title></item>
<item><link>//akhbaar.org/home/2023/12/303651.html</link><pubDate>Sat, 02 Dec 2023 16:23:00 -0000</pubDate><domain>akhbaar.org</domain><title>الاتهامات بالعنصرية تلاحق العائلة المالكة في بريطانيا</title></item>
<item><link>//akhbaar.org/home/2023/12/303650.html</link><pubDate>Sat, 02 Dec 2023 16:19:00 -0000</pubDate><domain>akhbaar.org</domain><title>الدفاع توضح حقيقة تهريب أسلحة باتجاه كردستان</title></item>
<item><link>//akhbaar.org/home/2023/12/303649.html</link><pubDate>Sat, 02 Dec 2023 16:14:00 -0000</pubDate><domain>akhbaar.org</domain><title>"سيُنهي معاناة الأهالي".. السوداني يضع حجر الأساس لمشروع تأهيل طريق بصرة - فاو</title></item>
<item><link>//akhbaar.org/home/2023/12/303648.html</link><pubDate>Sat, 02 Dec 2023 16:09:00 -0000</pubDate><domain>akhbaar.org</domain><title>رئيس الجمهورية لأمين الأمم المتحدة: ضرورة تنفيذ مخرجات القمم السابقة للمناخ</title></item>
<item><link>//akhbaar.org/home/2023/12/303647.html</link><pubDate>Sat, 02 Dec 2023 16:04:00 -0000</pubDate><domain>akhbaar.org</domain><title>ما حجم التلوث البيئي الناجم عن أعقاب السجائر؟.. ارقام صادمة</title></item>
<item><link>//akhbaar.org/home/2023/12/303646.html</link><pubDate>Sat, 02 Dec 2023 16:00:00 -0000</pubDate><domain>akhbaar.org</domain><title>كشف حقيقة انتشار فايروسات جديدة في الصين</title></item>
<item><link>//akhbaar.org/home/2023/12/303645.html</link><pubDate>Sat, 02 Dec 2023 14:40:00 -0000</pubDate><domain>akhbaar.org</domain><title>خلال لقاء السيسي.. هاريس تؤكد رفض واشنطن تهجير الفلسطينيين</title></item>
<item><link>//akhbaar.org/home/2023/12/303654.html</link><pubDate>Sat, 02 Dec 2023 17:05:00 -0000</pubDate><domain>akhbaar.org</domain><title>وفاة هنري كيسنجر الدبلوماسي المثير للخلاف الذي غير شؤون العالم</title></item>
<item><link>//akhbaar.org/home/2023/12/303653.html</link><pubDate>Sat, 02 Dec 2023 16:55:00 -0000</pubDate><domain>akhbaar.org</domain><title>تكساس تقاضي "فايزر" بسبب لقاح كورونا</title></item>

[rahulbot]

I suppose we could add an is_valid_story_url method that filters content like before we save it (and also address #31 in the same function).

[philbudne]

duplicate of #32