icd/screenshot-service
2
0
Fork 0
Code Issues 18 Pull Requests Projects 1 Releases Wiki Activity

Add firefox bloating (przedplamienie FF) #34

Merged
arek merged 10 commits from #29 into master 2022-11-29 12:45:47 +01:00
Conversation 5 Commits 10 Files Changed 9 +72 -16
arek commented 2022-07-24 14:40:49 +02:00
Owner
Copy Link
No description provided.
kuba was assigned by arek 2022-07-24 14:40:49 +02:00
arek added 1 commit 2022-07-24 14:40:50 +02:00
arek added 1 commit 2022-07-24 14:41:37 +02:00
kuba requested changes 2022-07-27 15:43:56 +02:00
kuba left a comment
Owner
Copy Link

Kilka drobnych rzeczy wyszło. Plus proszę wrzuć to na brancha o nazwie bez #, bo na tego #29 nie mogę się lokalnie zcheckoutować :(

Kilka drobnych rzeczy wyszło. Plus proszę wrzuć to na brancha o nazwie bez `#`, bo na tego `#29` nie mogę się lokalnie zcheckoutować :(
Docker/bloatter.sh Outdated
@ -0,0 +1,32 @@
#!/bin/bash
kuba commented 2022-07-24 15:14:37 +02:00
Owner
Copy Link

uwaga ortograficzna co do nazwy pliku - bloater - przez jedno t ;)

uwaga ortograficzna co do nazwy pliku - `bloater` - przez jedno `t` ;)
arek marked this conversation as resolved
Docker/bloatter.sh Outdated
@ -0,0 +1,32 @@
#!/bin/bash
BLOATING_DOMAINS=$(while IFS= read -r line; do echo "$line"
kuba commented 2022-07-27 15:37:33 +02:00
Owner
Copy Link

Jeżeli chcemy tutaj wczytać treść wielolinijkowego pliku do zmiennej BLOATING_DOMAINS, to wystarczy zrobić

BLOATING_DOMAINS=$(cat bloating-domains.txt)
Jeżeli chcemy tutaj wczytać treść wielolinijkowego pliku do zmiennej `BLOATING_DOMAINS`, to wystarczy zrobić ``` BLOATING_DOMAINS=$(cat bloating-domains.txt) ```
arek marked this conversation as resolved
Docker/bloatter.sh Outdated
@ -0,0 +10,4 @@
DOMAINS=$(printf '%s\n' "${BLOATING_DOMAINS[@]}")
else
echo "Bloating Firefox by requested domain list..."
DOMAINS=$FILTERED_DOMAINS
kuba commented 2022-07-27 15:40:51 +02:00
Owner
Copy Link

tutaj siegamy do zmiennej definiowanej poza funkcją - to może spowodować niepożądane zachowania.

Proponuję zmienic kształt tej funkcji tak, aby wywołanie było uzaleznione od ilości argumentów. Można jej podać albo:

  • zero argumentów (wtedy jest używana domyślna wbudowana lista wczytywana z pliku)
  • jeden argument - listę domen do splamienia - wtedy jest używana ta podana lista

Aby sprawdzić, ile argumentów było podane do funkcji, możemy użyć $#:

if [ "$#" = 0 ]; then
tutaj siegamy do zmiennej definiowanej poza funkcją - to może spowodować niepożądane zachowania. Proponuję zmienic kształt tej funkcji tak, aby wywołanie było uzaleznione od ilości argumentów. Można jej podać albo: * zero argumentów (wtedy jest używana domyślna wbudowana lista wczytywana z pliku) * jeden argument - listę domen do splamienia - wtedy jest używana ta podana lista Aby sprawdzić, ile argumentów było podane do funkcji, możemy użyć `$#`: ```bash if [ "$#" = 0 ]; then ```
arek marked this conversation as resolved
Docker/bloatter.sh Outdated
@ -0,0 +15,4 @@
while IFS= read -r DOMAIN; do
# these domains return a 404 anyways, no need to waste time on them:
if is_http_error "$DOMAIN"; then echo "skipping $DOMAIN"; continue; fi
kuba commented 2022-07-27 15:41:16 +02:00
Owner
Copy Link

wszystko pomiędzy while i done dla czytelności warto wciąć o dodatkowego tab-a

wszystko pomiędzy `while` i `done` dla czytelności warto wciąć o dodatkowego tab-a
arek marked this conversation as resolved
Docker/run-analysis.sh Outdated
@ -12,2 +13,4 @@
URL=$(unquote $(echo $INPUT | jq .url))
DOMAINS=`node array-to-lines.js "$(echo $INPUT | jq .third_party_domains)"`
FILTERED_DOMAINS=`node filter-requested-domains.js "$(echo $INPUT | jq .third_party_domains)"`
kuba commented 2022-07-27 15:43:05 +02:00
Owner
Copy Link

filtrowanie domen, jak i decydowanie o tym, czy plamić firefoxa, czy nie, najlepiej przenieść do body funkcji bloat_firefox. Wtedy główny skrypt będzie znacznie prostszy

filtrowanie domen, jak i decydowanie o tym, czy plamić firefoxa, czy nie, najlepiej przenieść do body funkcji `bloat_firefox`. Wtedy główny skrypt będzie znacznie prostszy
arek marked this conversation as resolved
arek commented 2022-07-27 21:19:57 +02:00
Author
Owner
Copy Link

Żeby się zcheckoutować musisz dać git checkout '#29'

Żeby się zcheckoutować musisz dać `git checkout '#29'`
kuba commented 2022-07-28 17:30:04 +02:00
Owner
Copy Link

Ok, sorry, robiłem te komendy w złym repozytorium xD Wszystko jest nazwą barncha ok. Pozostałe komentarze podtrzymuję :)

Ok, sorry, robiłem te komendy w złym repozytorium xD Wszystko jest nazwą barncha ok. Pozostałe komentarze podtrzymuję :)
arek added 1 commit 2022-07-31 12:19:42 +02:00
arek requested review from kuba 2022-07-31 12:20:22 +02:00
kuba requested changes 2022-08-14 10:13:05 +02:00
Docker/bloater.sh Outdated
@ -0,0 +28,4 @@
grab "$DOMAIN after"
done <<< "$DOMAINS"
else
echo "No need to blot"
kuba commented 2022-08-14 10:10:17 +02:00
Owner
Copy Link

(typo) blot -> bloat

(typo) blot -> bloat
arek marked this conversation as resolved
Docker/run-analysis.sh Outdated
@ -42,3 +33,1 @@
sleep 1.5
grab "$DOMAIN after"
done <<< "$DOMAINS"
bloat_firefox $INPUT
kuba commented 2022-08-14 10:12:37 +02:00
Owner
Copy Link

$INPUT to jest cały JSON z różnymi parametrami dla SS. Chyba chodziło tu o przekazanie $DOMAINS?

`$INPUT` to jest cały JSON z różnymi parametrami dla SS. Chyba chodziło tu o przekazanie `$DOMAINS`?
arek commented 2022-08-16 12:40:52 +02:00
Author
Owner
Copy Link

Yup i w bloater.sh robimy:

DOMAINS=`node filter-requested-domains.js "$(echo $1 | jq .third_party_domains)"`
Yup i w `bloater.sh` robimy: ``` DOMAINS=`node filter-requested-domains.js "$(echo $1 | jq .third_party_domains)"` ```
kuba commented 2022-08-16 12:58:47 +02:00
Owner
Copy Link

W istocie - rzecz polega na tym, że w bloater.sh patrzymy tylko w .third_party_domains i odrzucamy całą resztę JSON-a. Więc możemy przekazać do tej funkcji już wyciągnięte domeny, które tworzymy sobie w linijsce 15 w run-analysis.sh. I wtedy wystarczy zrobić przy wywołaniu:

bloat_firefox "$DOMAINS"

a w kodzie bloat_firefox:

DOMAINS=`node filter-requested-domains.js "$1"`

Zmniejszymy w ten sposób ilość wołanych binarek

W istocie - rzecz polega na tym, że w bloater.sh patrzymy tylko w `.third_party_domains` i odrzucamy całą resztę JSON-a. Więc możemy przekazać do tej funkcji już wyciągnięte domeny, które tworzymy sobie w linijsce 15 w `run-analysis.sh`. I wtedy wystarczy zrobić przy wywołaniu: ```sh bloat_firefox "$DOMAINS" ``` a w kodzie bloat_firefox: ```sh DOMAINS=`node filter-requested-domains.js "$1"` ``` Zmniejszymy w ten sposób ilość wołanych binarek
arek added 1 commit 2022-08-16 12:42:34 +02:00
arek requested review from kuba 2022-08-16 12:46:14 +02:00
arek added 1 commit 2022-09-12 09:50:19 +02:00
arek commented 2022-09-12 09:50:24 +02:00
Author
Owner
Copy Link

Poprawione

Poprawione
kuba added 1 commit 2022-09-12 19:22:55 +02:00
kuba refused to review 2022-09-12 19:25:30 +02:00
kuba added 1 commit 2022-09-12 19:35:10 +02:00
kuba commented 2022-09-12 19:42:51 +02:00
Owner
Copy Link

Wysłałem małego update'a, w którym skróciłem trochę listę podmiotów do przedplamienia. Usunąłem te podmioty, które występują w trakcie analiz rzadziej, niż się spodziewałem.

Jest problem, przedplamienie nie działa. Kroki do odtworzenia:

  1. npm start
  2. odwiedzić localhost:3000 i wpisać w URL https://patrizia.aryton.pl/content/2-polityka-prywatnosci, a w liście domen podać facebook.com,linkedin.com
  3. Pojawia się error:
{"url":"https://patrizia.aryton.pl/content/2-polityka-prywatnosci","third_party_domains":["facebook.com","linkedin.com"]}
Bloating Firefox by requested domain list...
undefined:1
facebook.com
  ^

SyntaxError: Unexpected token c in JSON at position 2
    at JSON.parse ()
    at Object. (/opt/filter-requested-domains.js:7:32)
    at Module._compile (node:internal/modules/cjs/loader:1105:14)
    at Object.Module._extensions..js (node:internal/modules/cjs/loader:1159:10)
    at Module.load (node:internal/modules/cjs/loader:981:32)
    at Function.Module._load (node:internal/modules/cjs/loader:822:12)
    at Function.executeUserEntryPoint [as runMain] (node:internal/modules/run_main:77:12)
    at node:internal/main/run_main_module:17:47
selected domains

i nie ma żadnych screenshotów

Wysłałem małego update'a, w którym skróciłem trochę listę podmiotów do przedplamienia. Usunąłem te podmioty, które występują w trakcie analiz rzadziej, niż się spodziewałem. Jest problem, przedplamienie nie działa. Kroki do odtworzenia: 1. npm start 2. odwiedzić localhost:3000 i wpisać w URL `https://patrizia.aryton.pl/content/2-polityka-prywatnosci`, a w liście domen podać `facebook.com,linkedin.com` 3. Pojawia się error: ``` {"url":"https://patrizia.aryton.pl/content/2-polityka-prywatnosci","third_party_domains":["facebook.com","linkedin.com"]} Bloating Firefox by requested domain list... undefined:1 facebook.com ^ SyntaxError: Unexpected token c in JSON at position 2 at JSON.parse () at Object. (/opt/filter-requested-domains.js:7:32) at Module._compile (node:internal/modules/cjs/loader:1105:14) at Object.Module._extensions..js (node:internal/modules/cjs/loader:1159:10) at Module.load (node:internal/modules/cjs/loader:981:32) at Function.Module._load (node:internal/modules/cjs/loader:822:12) at Function.executeUserEntryPoint [as runMain] (node:internal/modules/run_main:77:12) at node:internal/main/run_main_module:17:47 selected domains ``` i nie ma żadnych screenshotów
arek added 3 commits 2022-11-20 13:09:41 +01:00
arek requested review from kuba 2022-11-20 13:09:52 +01:00
arek commented 2022-11-20 13:10:05 +01:00
Author
Owner
Copy Link

Poprawiłem, wszystko śmiga!

Poprawiłem, wszystko śmiga!
kuba approved these changes 2022-11-29 12:38:15 +01:00
kuba left a comment
Owner
Copy Link

Przetestowałem u siebie i działa, super! <3

Przetestowałem u siebie i działa, super! <3
arek merged commit e83113bbde into master 2022-11-29 12:45:47 +01:00
Sign in to join this conversation.
Reviewers
No reviewers
kuba
Labels
Clear labels
No items
No Label
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
kuba
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: icd/screenshot-service#34
No description provided.
Delete Branch "#29"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?