Changelog

Path portability + fetch fix + cron → LaunchAgent + SCP → GCS

Fix 4 root causes: (1) fetch_cron.sh PYTHONPATH missing, (2) sync-db-only.sh SCP stall → gsutil cp GCS relay, (3) download_idx_keterbukaan.py _load_folder_tiers() wrong hardcoded path, (4) absolute paths di shared_db.py/apply_folder_routes.py → Path(__file__).parent relative. Cron fetch+pipeline → LaunchAgent com.idx.fetch+pipeline. 60 reviews filename fix .pdf.

DB streamline + Trigger.dev fix

Fix DB divergensi (monorepo canonical path di shared_db.py), guard sync GCP anti-wipe (abort jika downloads<100), Trigger.dev maxDuration 900s + LaunchAgent bootstrap, DROP saved_searches/ticker_price_skip/local_filename (VACUUM 14MB→12.1MB), pruning category_migrations 90d, fix SYNC_SCRIPT path di apply_folder_routes.py. GCP emergency restore dari 0 baris.

Schema cleanup: DROP saved_searches, ticker_price_skip, local_filename

Removed 2 unused tables (saved_searches: 0 rows, no writer; ticker_price_skip: non-functional) and 1 redundant column (announcements.local_filename: identical to downloads.filename). VACUUM saved 1.9 MB. Updated apply-pipeline-sync.py PIPELINE_TABLES (9 tables), shared-db.ts AnnouncementRow, fetch_announcements_server.py CREATE TABLE, and schema.sql.

UI/UX Redesign — clean mobile layout

Full redesign: full-width review panel (mobile+desktop), Lucide SVG icons, Fira Code+Fira Sans typography, CSS variable migration (WatchlistPanel light mode fix), skeleton loading, 14px review text, significance left-border strip, mobile touch targets ≥44px

Update CLAUDE.md paths post-monorepo migration

Fix outdated paths in both CLAUDE.md files after monorepo migration (2026-03-22): update shared-db.ts path to monorepo, fix auto-sync.sh cron path, update issue tracker paths, add Testing section with pytest/vitest/playwright commands, update monorepo orchestrator/CLAUDE.md agent table and all component paths.

Fix 19 item salah di Lainnya web

Root cause: reviews.jenis='Lainnya' + downloads.file_url=NULL → Stage C grouped-parser muncul sebagai orphan di utama (Lainnya). Fix: (1) UPDATE 66 downloads.file_url dari reviews.url by filename match. (2) Fix file_url COCO lamp1 + TIRT Pemantauan Khusus manual. (3) UPDATE jenis 5 review valid: BBNI/MKNT→Fakta Material, PTRO/INCO→Pengumuman Bursa IDX. (4) DELETE 2 review ETF rutin XMSK/XMLF (tidak ada download entry). Sync ke GCP berhasil.

Hapus kategori Saham Hilang dari folder_routes

Saham Hilang dihapus dari schema.sql folder_routes (hanya 2 file, tidak signifikan). Keyword 'saham hilang' dipindah ke Pengumuman Bursa (IDX). 2 file TLKM Pengumuman Bursa dipindah secara fisik ke Pengumuman Bursa (IDX)/. apply_folder_routes.py re-route 113 files total (termasuk koreksi pre-existing: KSEI Pengumuman Bursa → IDX, Annual Report salah kategori → folder yang benar). Sync ke GCP berhasil.

Backfill downloads.title + no_ann dari announcements (backfill_ann_titles.py)

517 file di kategori utama yang title-nya filename-based: 496 diupdate dari announcement match (via ticker+tanggal), 21 synthetic ann dibuat (SYN-YYYYMMDD-TICKER) untuk yang tidak ada match. Hasilnya apply_folder_routes re-route 512 file ke folder yang benar. Sisa 5 file di utama (edge case: WINS newsletter + CEKA Keterbukaan Informasi Dampak).

route_document() — shared routing logic untuk Downloader & apply_folder_routes

Pindahkan routing logic ke shared_db.route_document() sebagai single source of truth. apply_folder_routes.py dan Downloader get_folder() keduanya delegate ke fungsi ini. Fix bug: R- prefix dan -W suffix missing di apply_folder_routes. Fix bug: utama = root (BASE_DIR), bukan subfolder. Fix sync_downloads_from_disk scan root untuk utama. Perubahan Manajemen diubah ke download_only.

Skip price fetch ticker yang konsisten gagal (≥5x)

Tambah tabel ticker_price_skip di schema.sql + DB. Fungsi get_price_skip_tickers/record_price_fetch_results di shared_db.py. main.py skip ticker delisted sebelum fetch, lalu update fail_count setelah fetch. Threshold 5 gagal → skip=1 permanen; reset otomatis jika berhasil. Tabel di-sync ke GCP via apply-pipeline-sync.py.

apply_folder_routes: pindah file fisik + update DB saat routing berubah

re_route_downloads sebelumnya skip file yang ada di disk di lokasi lama (disk=truth). Sekarang jika routing keyword berubah dan file fisik ada di old_kat folder, file dipindah ke new_kat folder (shutil.move) lalu DB diupdate. Jika file gagal dipindah, DB tidak diupdate. User request: perubahan routing harus otomatis ikut memindah file fisik + update DB.

Fix manifest_parser: reklasifikasi file yang berpindah ke non-reviewed folder

manifest_parser._normalize_downloaded sebelumnya menggunakan kategori dari manifest meski file secara fisik sudah dipindah ke folder non-reviewed (Laporan ESG, Annual Report). Fallback path sekarang cek semua subdirektori BASE_DIR, bukan hanya CATEGORY_FOLDERS. Jika file ditemukan di folder non-reviewed, actual_cat diset ke nama folder tersebut sehingga main.py filter CATEGORY_FOLDERS skip file tersebut. Root cause: AVIA 1621 files masuk review padahal semestinya tidak.

Routing: penyampaian prospektus → Obligasi (bukan Fakta Material)

Keyword 'penyampaian prospektus' di Fakta Material menyebabkan prospektus obligasi ASDF masuk ke review AI. Dipindah ke Obligasi (sort_order 70, download_only). Tambah juga 'informasi tambahan' ke Obligasi. File ASDF dipindah fisik ke folder Obligasi + update downloads.kategori. Berlaku untuk semua penerbitan obligasi ke depan.

Prompt: larang deskripsi perusahaan, fokus aksi saja

Tambah instruksi eksplisit di kedua prompt (single + group) di claude_summarizer.py: JANGAN sertakan deskripsi umum perusahaan (profil, industri, sejarah, sektor). Fokus HANYA pada apa yang akan, sedang, atau telah dilakukan — aksi, keputusan, rencana, angka konkret.

Panggilan RUPS → download_only, bersihkan fallback config Analyzer

Panggilan RUPS tidak perlu AI review (dokumen rutin undangan RUPS). Diubah tier dari reviewed → download_only di schema.sql + DB lokal + GCP. Laporan Keuangan Interim sudah reported sejak sebelumnya — tidak perlu diubah. Fallback CATEGORY_FOLDERS di Analyzer config.py dibersihkan: hapus Panggilan RUPS dan Aksi Korporasi (sudah tidak ada di sistem).

Fix apply-pipeline-sync.py: auto-create semua pipeline tables di GCP

apply-pipeline-sync.py sekarang CREATE TABLE IF NOT EXISTS untuk semua 10 pipeline tables sebelum sync. Sebelumnya hanya category_migrations — tabel baru (ksei_tickers, change_log) menyebabkan DELETE gagal → rollback seluruh transaksi → sync tidak apply sama sekali. Juga fix sync-db-only.sh: hapus 2>/dev/null pada gcloud ssh agar error terdeteksi dan script exit 1 jika gagal.

Fix sync GCP: migrate routing_keywords + create ksei_tickers, change_log di VM

GCP VM DB stale sejak lama karena 2 masalah schema: (1) routing_keywords punya CHECK constraint lama (route_type IN ('main','title','company')) tapi local sudah tambah 'skip_review' → INSERT gagal → seluruh transaksi rollback; (2) ksei_tickers dan change_log belum ada di GCP VM. Fix: migrate routing_keywords schema di VM, create 2 tabel yang kurang, lalu sync berhasil: reviews 743→907, folder_routes 23→22 (hapus Aksi Korporasi).

Backfill reviewed_files dari _backup/ reports Mar 8-17

Cross-check report .md di _backup/ terhadap tabel reviews dan reviewed_files. Ditemukan 83 reviews dari backup belum ada di DB (migrate_reviews_to_db.py tidak scan _backup/). Import 83 reviews ke DB. Backfill 501 filepath entries ke reviewed_files menggunakan no_ann grouping dan fuzzy prefix matching (60/50 char) untuk filename yang terpotong di report lama. Hasil: 182 group (270 file) genuinely unreviewed — belum pernah diproses di sistem lama maupun baru.

Hapus API fallback Analyzer — Claude Pro CLI only

claude_summarizer.py: hapus _call_via_api, API key init, _cli_exhausted. Sekarang hanya pakai Claude Pro CLI. Jika CLI hit limit, _UsageLimitError propagate ke summarize_group_batch → set _limit_error → hentikan batch. main.py: hapus cek ANTHROPIC_API_KEY. Tambah failsafe: jika 0 berhasil → jangan tulis report (notify Telegram saja). Jika partial → tulis report hanya dengan ok_summaries, tambah failure notice di header. File gagal tidak ditandai reviewed → auto-retry run berikutnya.

Fix cache invalidation: WAL mode mtime tidak update

grouped-parser.ts getLatestMtime() tidak detect perubahan DB di WAL mode karena hanya cek mtime file utama. Fix: (1) grouped-parser.ts sekarang juga cek mtime idx_shared.db-wal; (2) apply-pipeline-sync.py tambah PRAGMA wal_checkpoint(TRUNCATE) setelah sync agar main file mtime terupdate. Root cause: Stage B cards tidak refresh setelah fetch_cron sync ke GCP.