icd/screenshot-service
2
0
Fork 0
Code Issues 18 Pull Requests Projects 1 Releases Wiki Activity

Add firefox bloating (przedplamienie FF) #34

Merged
arek merged 10 commits from #29 into master 2022-11-29 12:45:47 +01:00
Conversation 5 Commits 10 Files Changed 9 -16
1 changed files with 0 additions and 16 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files
Showing only changes of commit 33de898d1d - Show all commits

16
Docker/run-analysis.sh
View File

@ -31,7 +31,6 @@ fi
ORIGIN_DOMAIN=$(sed -e 's/[^/]*\/\/\([^@]*@\)\?\([^:/]*\).*/\2/' <<< "$URL") ORIGIN_DOMAIN=$(sed -e 's/[^/]*\/\/\([^@]*@\)\?\([^:/]*\).*/\2/' <<< "$URL")
kuba commented 2022-08-14 10:12:37 +02:00
Outdated
Review
Copy Link

$INPUT to jest cały JSON z różnymi parametrami dla SS. Chyba chodziło tu o przekazanie $DOMAINS?

`$INPUT` to jest cały JSON z różnymi parametrami dla SS. Chyba chodziło tu o przekazanie `$DOMAINS`?
arek commented 2022-08-16 12:40:52 +02:00
Outdated
Review
Copy Link

Yup i w bloater.sh robimy:

DOMAINS=`node filter-requested-domains.js "$(echo $1 | jq .third_party_domains)"`
Yup i w `bloater.sh` robimy: ``` DOMAINS=`node filter-requested-domains.js "$(echo $1 | jq .third_party_domains)"` ```
kuba commented 2022-08-16 12:58:47 +02:00
Outdated
Review
Copy Link

W istocie - rzecz polega na tym, że w bloater.sh patrzymy tylko w .third_party_domains i odrzucamy całą resztę JSON-a. Więc możemy przekazać do tej funkcji już wyciągnięte domeny, które tworzymy sobie w linijsce 15 w run-analysis.sh. I wtedy wystarczy zrobić przy wywołaniu:

bloat_firefox "$DOMAINS"

a w kodzie bloat_firefox:

DOMAINS=`node filter-requested-domains.js "$1"`

Zmniejszymy w ten sposób ilość wołanych binarek

W istocie - rzecz polega na tym, że w bloater.sh patrzymy tylko w `.third_party_domains` i odrzucamy całą resztę JSON-a. Więc możemy przekazać do tej funkcji już wyciągnięte domeny, które tworzymy sobie w linijsce 15 w `run-analysis.sh`. I wtedy wystarczy zrobić przy wywołaniu: ```sh bloat_firefox "$DOMAINS" ``` a w kodzie bloat_firefox: ```sh DOMAINS=`node filter-requested-domains.js "$1"` ``` Zmniejszymy w ten sposób ilość wołanych binarek
if [ -z "$FILTERED_DOMAINS" ] if [ -z "$FILTERED_DOMAINS" ]
then then
echo "No need to blot" echo "No need to blot"
@ -40,21 +39,6 @@ else
grab bloat_firefox grab bloat_firefox
fi fi
# while IFS= read -r DOMAIN; do
# # these domains return a 404 anyways, no need to waste time on them:
# if is_http_error "$DOMAIN"; then echo "skipping $DOMAIN"; continue; fi
# load_website "$DOMAIN?hl=pl" "$DOMAIN"
# sleep 1 # sometimes the consent popup needs a little time
# open_console
# grab "$DOMAIN before"
# (tr '\n' ' ' < click-accept-all.js) | xclip -sel clip
# keycombo Control_L v
# sleep 0.3
# xdotool key Return
# sleep 1.5
# grab "$DOMAIN after"
# done <<< "$DOMAINS"
click 1270 217 # the "trash" icon, so requests from plamienie don't appear in the screenshots click 1270 217 # the "trash" icon, so requests from plamienie don't appear in the screenshots
load_website "$URL" "$URL" load_website "$URL" "$URL"