icd/blocklisty
4
1
Fork 1
Code Issues Pull Requests 2 Packages Projects Releases Wiki Activity

Dodanie skryptu konwertera, przygotowanie do kategoryzacji list i dodanie pliku źródłowego JSON #1

Merged
wiktor merged 7 commits from converter into master 2025-05-20 18:09:48 +02:00
Conversation 6 Commits 7 Files Changed 5 +306
wiktor commented 2025-05-19 21:56:45 +02:00
Collaborator
Copy Link
No description provided.
wiktor added 1 commit 2025-05-19 21:56:46 +02:00
kuba requested changes 2025-05-19 22:01:50 +02:00
Dismissed
kuba left a comment
Owner
Copy Link

Pliki "zbudowane", czyli te txt, proponuję trzymać w osobnym katalogu. Da to ładne rozgraniczenie na to, co jest przeznaczone do edycji, a co jest budowane. Więc może pliki źródeł dać w src, a zbudowane pliki w dist?

np. src/seo-adguard.json i dist/seo-nonsense/seo-nonsense-adguard.txt + dist/seo-nonsense/seo-nonsense-ublacklist.txt

Byłoby też super gdybyśmy mieli plik README z instrukcją jaką komendą budować i potencjalnie co trzeba zainstalować (chociaż obstawiam, że to jest "goły" python).

Kusi też, aby dodać Makefile. Wystarczy wtedy odpalić klasyczne make build w celu uruchomienia testów. To może utrudnić życie użytkownikom Windowsa, ale z drugiej strony jak ktoś kodzi na Windowsie to pewnie jest przyzwyczajony do kłód pod nogami xd

Pliki "zbudowane", czyli te `txt`, proponuję trzymać w osobnym katalogu. Da to ładne rozgraniczenie na to, co jest przeznaczone do edycji, a co jest budowane. Więc może pliki źródeł dać w `src`, a zbudowane pliki w `dist`? np. `src/seo-adguard.json` i `dist/seo-nonsense/seo-nonsense-adguard.txt` + `dist/seo-nonsense/seo-nonsense-ublacklist.txt` Byłoby też super gdybyśmy mieli plik README z instrukcją jaką komendą budować i potencjalnie co trzeba zainstalować (chociaż obstawiam, że to jest "goły" python). Kusi też, aby dodać Makefile. Wystarczy wtedy odpalić klasyczne `make build` w celu uruchomienia testów. To może utrudnić życie użytkownikom Windowsa, ale z drugiej strony jak ktoś kodzi na Windowsie to pewnie jest przyzwyczajony do kłód pod nogami xd
wiktor commented 2025-05-19 22:07:45 +02:00
Author
Collaborator
Copy Link

Pliki "zbudowane", czyli te txt, proponuję trzymać w osobnym katalogu. Da to ładne rozgraniczenie na to, co jest przeznaczone do edycji, a co jest budowane. Więc może pliki źródeł dać w src, a zbudowane pliki w dist?

Dobry pomysł. Czy taka struktura będzie odpowiednia? Czy plik konwertera też przenieść do src?

.
├── converter.py
├── dist
│   └── seo-nonsense
│       ├── adguard.txt
│       └── ublacklist.txt
├── README.md
└── src
    └── seo-source.json

Byłoby też super gdybyśmy mieli plik README z instrukcją jaką komendą budować i potencjalnie co trzeba zainstalować (chociaż obstawiam, że to jest "goły" python).

Jasne, mogę się tym zająć.

> Pliki "zbudowane", czyli te `txt`, proponuję trzymać w osobnym katalogu. Da to ładne rozgraniczenie na to, co jest przeznaczone do edycji, a co jest budowane. Więc może pliki źródeł dać w src, a zbudowane pliki w `dist`? Dobry pomysł. Czy taka struktura będzie odpowiednia? Czy plik konwertera też przenieść do `src`? ``` . ├── converter.py ├── dist │   └── seo-nonsense │   ├── adguard.txt │   └── ublacklist.txt ├── README.md └── src └── seo-source.json ``` > Byłoby też super gdybyśmy mieli plik README z instrukcją jaką komendą budować i potencjalnie co trzeba zainstalować (chociaż obstawiam, że to jest "goły" python). Jasne, mogę się tym zająć.
kuba commented 2025-05-20 15:39:33 +02:00
Owner
Copy Link

Plik konwertera też dajmy do src 🙏

Plik konwertera też dajmy do src 🙏
👍 1
wiktor added 1 commit 2025-05-20 16:22:07 +02:00
wiktor added 2 commits 2025-05-20 16:45:56 +02:00
kuba requested changes 2025-05-20 17:07:07 +02:00
Dismissed
src/converter.py Outdated
@ -0,0 +82,4 @@
def adguard_conversion(data: dict) -> list[str]:
header_lines: list[str] = [
f"! Blocking list automatically generated at {datetime.now(timezone.utc).strftime('%Y-%m-%d %H:%M:%S %Z%z')}",
kuba commented 2025-05-20 17:03:43 +02:00
Owner
Copy Link

tutaj zamiast obecnej daty użyjmy mtime źródłowego pliku JSON. Wtedy buildy będą bardziej deterministyczne

tutaj zamiast obecnej daty użyjmy `mtime` źródłowego pliku JSON. Wtedy buildy będą bardziej deterministyczne
wiktor commented 2025-05-20 17:08:18 +02:00
Author
Collaborator
Copy Link

masz na myśli pobieranie datetime ostatniej modyfikacji pliku źródłowego JSON?

masz na myśli pobieranie datetime ostatniej modyfikacji pliku źródłowego JSON?
kuba commented 2025-05-20 17:13:48 +02:00
Owner
Copy Link

dokładnie tak!

dokładnie tak!
wiktor marked this conversation as resolved
kuba requested changes 2025-05-20 17:14:49 +02:00
Dismissed
Makefile Outdated
@ -0,0 +1,9 @@
CONVERTER = python3 src/converter.py
build:
kuba commented 2025-05-20 17:14:46 +02:00
Owner
Copy Link

tutaj jeszcze trzeba dodać plik src/seo-source.json jako dependency. Wtedy Make będzie unikał buildów dla plików, dla których już build był zrobiony (patrząc po mtime)

build: src/seo-source.json
tutaj jeszcze trzeba dodać plik `src/seo-source.json` jako dependency. Wtedy Make będzie unikał buildów dla plików, dla których już build był zrobiony (patrząc po mtime) ``` build: src/seo-source.json ```
wiktor marked this conversation as resolved
wiktor added 1 commit 2025-05-20 17:44:52 +02:00
wiktor added 1 commit 2025-05-20 17:50:14 +02:00
kuba added 1 commit 2025-05-20 18:04:41 +02:00
kuba approved these changes 2025-05-20 18:06:49 +02:00
wiktor merged commit 266464c0e3 into master 2025-05-20 18:09:48 +02:00
wiktor deleted branch converter 2025-05-20 18:14:54 +02:00
Sign in to join this conversation.
Reviewers
No Reviewers
kuba
Labels
No items
No Label
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
arek kuba wiktor
No Assignees
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: icd/blocklisty#1
No description provided.
Delete Branch "converter"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?