Levysoft
  • Home
  • Portfolio
  • WordPress Plugin
  • Contattami

Dal 2004 il blog di Antonio Troise

RSS FeedTwitterFacebook
Dic 5 2008

Come scaricare da Rapidshare da riga di comando con Linux o Mac OS X

Posted by Antonio Troise
Tweet

Wget Rapidshare Alle volte può sembrare che, quando vengono proposte soluzioni a riga di comando, ci si voglia complicare le cose nonostante esistano decine di altri modi, molto più user friendly, semplici, efficaci e veloci. Vi starete chiedendo per quale motivo una persona vorrebbe scaricare un file da riga di comando piuttosto che usare una delle tanti utility grafiche e gratuite disponibili o, più semplicemente, usare il download manager del proprio browser, che qualunque esso sia, svolge già efficacemente il proprio lavoro?
Ebbene, la ricerca di queste soluzioni alternative avvengono semplicemente per necessità e non solo per il gusto di complicarsi la vita lanciandosi ogni volta in nuove sfide, o almeno è questo quello che accade a me!

Vi siete mai chiesti o vi siete mai trovati nella situazione di dover scaricare qualche file in parallelo? Ebbene, sicuramente avrete constatato un inevitabile rallentamento del sistema direttamente proporzionale al numero di download simultanei che vengono lanciati, sia perché, almeno in minima parte il processore deve gestire il trasferimento, sia perché la scrittura di più file contemporaneamente sull’hard disk (anche se in questo caso il concetto di simultaneità non è verosimile) impegnano il drive tanto da lasciare indietro le operazioni del sistema operativo.

Ebbene, la situazione potrebbe essere spiacevole se su quello stesso PC ci dovete lavorare. Ed è allora che vi viene in mente che forse potreste riutilizzare quel vecchio PC che non usate più, formattarlo, installarci sopra una qualsiasi distribuzione linux, e usarlo esclusivamente come Download Manager. Quindi, ogni qualvolta, vorrete scaricare un o più file da Rapidshare, basterà che vi colleghiate in telnet sul PC Muletto, aprite un file di testo, incollate le url dei file Rapidshare da scaricare, salvate il file e lanciate un piccolo script che eseguirà per voi tutto il lavoro, senza appesantire il sistema su cui state lavorando. Ovviamente, il sistema che adotterò, per essere il più leggero e flessibile possibile, non disporrà di una interfaccia grafica, bensì sarà esclusivamente a riga di comando, insomma da veri geek. Ma vi assicuro che questa è la soluzione inaspettatamente più semplice per risolvere il vostro problema di performance.

In questa sede, comunque, affronterò esclusivamente la soluzione che risolverà il problema di come scaricare un file da Rapidshare se si possiede un abbonamento Premium e quindi si potrà disporre di un utente e password che vi garantirà un servizio che può accettare più richieste di download contemporanee (anche se come vedremo più tardi ho deciso di non usarlo per non appesantire il vecchio PC Muletto) e che non richiede alcun tempo di attesa tra un download e il successivo.

Installare WGET

Per la mia soluzione userò wget, un potente comando per scaricare una pagina web o inviare richieste GET o POST, con o senza autenticazione. Se disponete di un sistema Unix/Linux, è molto probabile che lo troverete compilato e già pronto per essere eseguito. Se invece vi trovate su un sistema Mac OS X (Tiger o Leopard che sia), nonostante si abbia a disposizione nel sistema operativo una shell unix completa di tutti i maggiori comandi, l’unico a mancare sarà proprio wget. Ci sono alternative altrettanto valide, come curl o ftp (e, per chi se lo ricorda, anche lynx che col comando “lynx URL >dump.txt” è una variante alternativa), ma per i nostri scopi, wget è abbastanza flessibile e semplice tanto da essere necessario per creare il nostro script. Quindi, per chi non volesse passare per la fase di compilazione, qui potete scaricare la versione compilata per i sistemi Mac OS X 10.5.3 e superiori (quindi anche Tiger e Leopard): wget.zip. Una volta scaricato sarà già funzionante sul vostro sistema, ma per una installazione completa, lanciate questi comandi:

e se fosse necessario, eseguirte un

anche se nel file .profile della propria home directory dovrebbe già contenere il percorso settato, come qui mostrato:

Ora che abbiamo installato wget sul nostro sistema Mac, questo si comporterà a tutti gli effetti come un sistema Linux, quindi d’ora in poi non farò alcuna distinzione tra i due sistemi operativi.

Creare lo script – STEP 1

Per la creazione dello script ho preso spunto da my-guides.net e in questa sede mi dedicherò a spiegarne il funzionamento del codice adattato alle mie esigenze.

Rapidshare, per l’autenticazione, usa i cookie HTTP, dei file di testo inviati da un server ad un Web client (di solito un browser) e poi rimandati indietro dal client al server, senza subire modifiche, ogni volta che il client accede allo stesso server, e sono usati per eseguire autenticazioni e tracking di sessioni e per memorizzare informazioni specifiche riguardanti gli utenti che accedono al server.
Quindi, la nostra prima operazione, sarà quella di autenticarsi sul server Rapidshare e di salvare i cookie che mi permetteranno, in seguito, di scaricare qualsiasi file dal sito di hosting file.
Attensione, lo STEP 1, andrà eseguito solo una volta, perché i cookie, a meno che non si proceda alla loro eliminazione manuale, verranno salvati in una cartella della vostra home directory.

Il comando da lanciare è il seguente:

dove i parametri indicano:

  • –save-cookies: definisce dove salvare i cookies. Essendo dati più sensibili ho preferito creare un file nascosto (anche se ciò non garantisce la sicurezza del file)
  • –post-data: assegna il metodo POST (piuttosto che GET) per inviare al form di login i dati di username e password.
    –no-check-certificate: non richiede la validazione del certificato che restituisce il server (Se state usando una versione di wget precedente alla 1.10.2 l’opzione –no-check-certificate non è necessaria)
    -O: esegue il download della pagina html solo per ottenere i cookie e redirige l’output su /dev/null per non far comparire a video le righe del codice html.

Ovviamente, ricordatevi di sostuire USERNAME e PASSWORD con quelli del vostro account Rapidshare.

Creare lo script – STEP 2

Ora, ogni qualvolta dobbiamo scaricare un file da Rapidshare, dobbiamo digitare quanto segue:

dove il parametro -c si occupa di recuperare un eventuale download precedentemente interrotto che, quindi, ripartirò dal punto di arresto, mentre il parametro –load-cookies esegue un caricamento preventivo dei cookie precedentemente salvati per ottenere l’autorizzazione a scaricare, per poi, infine, dare in pasto la URL desiderata del file da scaricare. Però, nel momento in cui dovete scaricare più di un file, è evidente che dover scrivere ogni volta questa riga può essere noioso. Ecco perché ci troveremo a dover scrivere un piccolo script bash che automatizzerà il processo, dandogli in input le righe di un file urls.txt (che conterrà un file per ogni riga):

Salvate il codice sopra come file downloader.sh e rendetelo eseguibile con il seguente comando:

Ora copiate tutti i link dei file Rapidshare (uno per riga) che volete scaricare e incollateli nel file urls.txt. Quindi, per scaricare tutti i file, basterà digitare questo semplice comando:

Et Voilà! Il gioco è fatto e potete disporre di un sistema leggero, indipendente e autonomo per scaricare decine di file senza appesantire il vostro PC.

Scompattare un file RAR da riga di comando

Di solito i file su Rapidshare vengono compressi nel formato RAR e qualche volta sono anche protetti da password. Se volete completare l’opera, potete scaricare l’utility per riga di comando per Linux (o Mac) unRar 2.71 (ma esiste anche unrar della rarlab) e una volta decompresso

è possibile compilarlo entrando nella cartella unrar-2.71 appena creata e lanciando i comandi

Ora vi ritroverete il file eseguibile unrar nella directory /usr/local/bin/ e quindi accessibile da qualsiasi directory.

Tag:bash, curl, download, export, Linux, Mac os x, password, rapidshare, shell, unix, wget
CONTINUE READING >
0 comments
Ago 5 2008

Youtube trasmetterà le Olimpiadi ai 77 paesi che non hanno acquistato i diritti televisivi. Come vedere i giochi olimpici sul portale Rai, sul iPhone e su Windows Vista

Posted by Antonio Troise
Tweet

Olimpiadi Beijing 2008 Se in Italia e in molti altri paesi europei e del Nord America, le Olimpiadi verranno trasmesse regolarmente sulle televisioni nazionali dai grandi network locali che hanno acquistato i diritti televisivi, nel resto del mondo, e in particolare in 77 Paesi tra i quali l’India, la Corea del Sud e la Nigeria, il servizio verrà, per la prima volta, offerto da Youtube, ovviamente solo su piattaforma PC anziché televisiva.

Per la prima volta nella storia delle Olimpiadi, quindi, la famosa manifestazione avrà un proprio canale televisivo per il quale produrre e gestire i propri contenuti. E tutto grazie a Youtube, che, a partire dal 6 Agosto 2008 (i Giochi iniziano l’8 Agosto ma dal 6 saranno trasmesse le anteprime legate al grande evento sportivo del 2008) e per tutti i 17 gironi dei Giochi Olimpici, trasmetterà video servizi con durata massiama di 10 minuti, per un totale di 3 ore al giorno al massimo, preparati dallo stesso Comitato Olimpico Internazionale (che useranno i video della Rete Olympic Broadcasting Services) all’indirizzo youtube.com/beijing2008.

Ma la particolarità è che, a poter approfittare di questo evento, saranno solo i Paesi in cui nessuna televisione ha acquistato i diritti delle Olimpiadi, proprio per non andare contro ai grandi network televisivi che hanno comprato l’esclusiva della diretta. Il tutto sarà garantito da un sofisticato sistema di filtraggio messo in atto da Google che analizzerà l’area di provenienza degli utenti per bloccare tutti quelli che provengono dall’Europa e dal Nord America. Infine, per evitare di cadere nelle già numerose cause legali per violazioni di copyright sugli spezzoni televisivi presenti su Youtube, i suoi tecnici dovranno rimuovere tutti i video delle Olimpiadi catturati dalla televisione e diffuse senza autorizzazione.

Il numero degli spettatori di YouTube, però, a detta di molti, potrebbe tuttavia essere relativamente ridotto, ovvero attorno ai 200 milioni di persone, visto che la maggior parte dei 77 Paesi raggiunti dal servizio ha un’estensione territoriale piuttosto limitata. La Cina, inoltre, paese ospitante delle Olimpiadi, non permetterà ai propri abitanti di utilizzare il contenuto di YouTube: i suoi 180 milioni di utenti video Internet si rivolgeranno a un’altra fonte online, ovvero CCTV.com, la divisione Internet della China Central Television.

Insomma, se da un lato il fatto che Youtube possa a trasmettere, nei paesi che non possano permetterselo, il più grande evento mondiale del tutto gratuitamente, è una grande opportunità oltre che un segno dei tempi che cambiano, visto che ora per la prima volta la copertura dei Giochi sarà globale e completa sul fronte online. Il fatto, però, che in Italia il canale beijing2008 di Youtube non potrà essere visto, è un po’ un peccato anche perchè, se stavate pensate che con qualche proxy si poteva risolvere la situazione, dovete sapere che la maggior parte è situata in America che, tra gli altri, è proprio uno degli stati a cui è preclusa la visione del canale. Bisognerà quindi andare a puntare qualche proxy orientale facente parte della lista dei 77 candidati.

In realtà, però, vi sono altri modi per vedere le Olimpiadi 2008.

Vedere le Olimpiadi su Windows Vista

Si chiama NBC Olympics on the Go il servizio che dovrebbe partire in contemporanea con le Olimpiadi di Pechino 2008 e che consentirà proprio la visione su Internet, gratis e in streaming, degli eventi sportivi che avranno luogo in Cina. Da un’iniziativa congiunta di NBC, Microsoft e del team che gestisce l’organizzazione che permetterà all’utente, grazie alla tecnologia Silverlight di Microsoft, di scegliere il canale in base allo sport ma solo a partire da 12 ore dopo che l’evento abbia avuto luogo. Inoltre i video saranno scaricabili, tuttavia solo per la durata dei giochi.

La nota dolente è che i video saranno visibili solo sui sistemi operativi Windows Vista Ultimate e Home Premium. L’intenzione di Microsoft appare sin troppo evidente: premiare chi è passato a Vista, peraltro solo a quelle due versioni, e spingere chi ancora usa XP ad aggiornare il proprio sistema all’ultimo OS di casa Redmond. A ciò si aggiunge anche il tentativo di invogliare al download di Silverlight, rivale storico di Flash.

Vedere le Olimpiadi online con la Rai

La Rai ha comprato i diritti delle Olimpiadi 2008 e, fortunatamente, le metterò a disposizione su tutte le piattaforme: terrestre, digitale, satellite, internet e, inoltre, sulla telefonia mobile! La principale novità Rai per Pechino è l’Olimpiade non stop sul web con un’offerta senza precedenti: sullo speciale sito Pechino2008.rai.it, realizzato da RaiSport in collaborazione con RaiNet, sarà possibile seguire tutte le gare della rete olimpica Rai2 e anche quelle in onda su RaiSport Più. Inoltre, in esclusiva per il web rai, saranno online 6 flussi video con audio e grafica internazionale che permetteranno di vivere 24 ore su 24 gli eventi olimpici, con dirette in streaming trasmesse dai singoli campi gara. Nel menu è possibile trovare anche i video degli highlights e clip on demand. Infine, si potranno trovare anche nomi, numeri, statistiche e video clip d’archivio delle edizioni precedenti.

Vedere le Olimpiadi sull’iPhone

In teoria, Rainet, la società che gestisce il portale Rai.it, aveva anche avuto l’idea di rendere disponibile la visione delle Olimpiadi, anche su iPhone, tramite l’installazione di un applicativo a parte. L’annuncio dell’operazione doveva arrivare per fine Luglio, ma ancora non è stato confermato nulla. Quel che è certo è che dopo i Giochi Olimpici, il sistema verrà applicato anche a Rainews 24 e Televideo Rai.

UPDATE: E’ possibile vedere le Olimpiadi in diretta anche sul sito Yalp di Alice Telecom Italia che ha predisposto un canale dedicato alle Olimpiadi 2008.

Tag:download, flash, gratis, Internet, iPhone, microsoft, Mobile, olimpiadi, rai, silverlight, streaming, televisione, tv, Video, web, windows-vista, youtube
CONTINUE READING >
4 comments
Lug 9 2008

WordPress Plugin: Filter Badwords Comment

Posted by Antonio Troise
Tweet

Ecco finalmente il mio secondo plugin per WordPress: Filter Badwords Comment.
Nato soprattutto per l’esigenza di censurare alcune parole offensive presenti nei commenti su questo sito (specie nella calda sezione Xbox 360 vs PlayStation 3) ho deciso di renderlo pubblico per dare ad altri webmaster e blogger la possibilità di proteggere i propri lettori dalla lettura di parole che potrebbero offendere la sensibilità personale.

Caratteristiche del plugin

Filter Badwords Comment, è stato strutturato in modo da essere altamente personalizzabile anche dal Pannello di Amministrazione di WordPress. Infatti presenta, sotto il menu Impostazioni, una sezione “Filter Badwords Comment” in cui, è presente una textarea con elencate tutte le parole da filtrare. Inizialmente questa area è nascosta, per evitare di offendere la sensibilità delle persone.

Badwords - Screenshot 1

Solo dopo aver visualizzato sul tasto Show (Visualizza nel caso abbiate la versione di WordPress localizzata in italiano) verrà visualizzata una area di modifica del dizionario delle parole, una per riga, da censurare.

Badwords - Screenshot 2

Qui sono presenti sia singole parole (per quanto possibile nella loro versione al plurale e al singolare e in quelle artefatte) e sia da parole composte (le classiche frasi fatte offensive).
Per il plugin ho realizzato 2 vocabolari: badwords_IT.txt e badwords_EN.txt. Entrambi contengono parole offensive nelle rispettive lingue ITALIANO e INGLESE. A seconda di quale database di base scegliete dovete rinominarlo nell’unico file che il plugin legge: badwords.txt (che di default ho comunque incluso e contiene solo le parole italiane). Ovviamente nulla esclude che potete creare un vostro nuovo file con le parole da censurare: quello che ho fatto io è solamente di fornirvi tutti gli strumenti in modo da avere una base di partenza su cui far funzionare il plugin per wordpress.

Per i blog multilingua, potete benissimo realizzare un file unico che racchiuda entrambe le lingue anche se lo sconsiglio perché le parole inglesi potrebbero essere facilmente trovate in parte di quelle italiane (un esempio è: “mettere in ballo” in cui la parola “ball” verrebbe censurata).
Anche nel caso di parole italiane vi potrebbero essere problemi di censure parziali delle parole perché, magari, in mezzo è stata trovata una parola da censurare (è il caso, per esempio, di grafica“).
Per come ho sviluppato il plugin, che usa la funzione php di str_replace() su tutto il testo del commento e non tiene in considerazioni le sentence, il problema non è facilmente risolvibile. Per cui ho risolto eliminando quelle parole da censurare che potrebbero essere facilmente confondibili con altre di uso comune.
Se avete qualche suggerimento per migliorare questo plugin siete sempre i benvenuti!

Come funziona

Il plugin Filter Badwords Comment non fa altro che, ogni volta che WordPress deve visualizzare un commento, interrogare un file di testo e ricercare le relative corrispondenze. Una volta trovate le parole da censurare, queste vengono nascoste dietro degli asterischi solo in visualizzazione (le parole rimangono comunque inalterate nel database). So che la soluzione del file di testo non è la soluzione più veloce di interrogazione di un elenco di dati, ma sicuramente era quella più veloce e funzionale, perché, a differenza di un array interno al plugin o di un campo in una tabella mysql, è facilmente modificabile ed esportabile in quanto è un semplice file di testo in ASCII. Per semplificare la modifica online del parole da censurare ho, comunque, previsto la possibilità di poter modificare il file dal Pannello di Amministrazione di WordPress.

Da qui, inoltre, è possibile anche scegliere se censurare l’intera parola da fltrare con tutta una serie di asterischi pari al numero di lettere di cui è composta, oppure, per lasciare intendere il senso della frase, di lasciare visibile solo la prima e l’ultima lettera.

Badwords - Screenshot 3
Compatibilità

Il plugin Filter Badwords Comment è stato testato sul mio blog per diversi giorni ed è compatibile con tutte le versioni di WordPress, quindi anche con la release 2.5.1. In ogni caso, il plugin agisce solo nell’area commenti e non fa altro che lavorare sulla sola visualizzazione senza alterare alcun dato. Il plugin è stato rilasciato esclusivamente in lingua inglese ma presumo che le sue funzionalità e caratteristiche siano abbastanza chiare.

Possibili evoluzioni

Una possibile evoluzione del plugin potrebbe essere quello di non permettere l’inserimento dei commenti se sono presenti parole da censurare. In questo modo si risolverebbe il problema a monte e si educherebbero i commentatori a non scrivere parole offensive! Il problema è che questo non può essere l’unica soluzione ma solo una caratteristica in più, da abbinare alla censura in visualizzazione delle parole, poiché, specie nei siti attivi da più anni e con diversi migliaia di commenti, bisogna comunque filtrare le parole offensive.

L’origine della badlist

Ci tengo a precisare che la lista italiana delle parole da censurare è stata tratta quasi integralmente, ad eccetto di alcune aggiunte da me, dal sito di Clarence che riportava una gaffe notata su un CD di Infinito che aveva lasciato visibile un file badlist.txt con tutte le parole da censurare durante la registrazione, compresi alcuni nomi di partiti italiani.

Supporto

Il plugin può essere testato nella sezione dei commenti di questa pagina. Se avete suggerimenti, domande o segnalazioni di anomalie, potete commentare qui sotto, oppure, contattarmi direttamente per mail dalla sezione Contattami.

Download

Italiano[ITALIANO]

Nome Plugin: Filter Badwords Comment
Autore: Antonio Troise
Descrizione: Questo plugin permette di censurare dai commenti le parole che risultano essere offensive prelevandole da un database italiano o inglese. Il plugin agisce solo sulla visualizzazione dei commenti dove è possibile nasconderle completamente dietro una serie di asterischi pari al numero di lettere di cui sono composte, oppure, per lasciare intendere il senso della frase, è possibile lasciare visibile solo la prima e l’ultima lettera.
Versione: 1.0.2
Installazione:

  1. Scaricate il plugin, decomprimetelo e fate l’upload della dictory badwords nella directory dei plugin di WordPress (wp-content/plugins/).
  2. Rinominate badwords_IT.txt o badwords_EN.txt nel DB file di default: badwords.txt
  3. Attivate il plugin “Filter Badwords Comment” plugin da “Gestione plugin” nell’Area di Amministrazione di WordPress.
  4. Configurate la lista delle parole da censurare e la modalità di mascheramento degli asterischi da Impostazioni » Filter Badwords Comment
download Scarica filter_badwords_comment.zip 1.0.2
Dimensione: 6.6 KB

English[ENGLISH]

Plugin Name: Filter Badwords Comment
Author: Antonio Troise
Description: This plugin allows to filter the bad words present in the comments with asterisk from italian/english dictionary. When the comments get displayed, WordPress gives the comment content to the comment filter plugin and returns the modified content that replace the bad word with asterisk.
Release: 1.0.2
Usage:

  1. Download the plugin, unzip and upload in the directory of plugin of WordPress (wp-content/plugins/).
  2. Rename badwords_IT.txt or badwords_EN.txt in default DB file: badwords.txt
  3. Activate “Filter Badwords Comment” plugin from Manage Plugin in the Administration Area of WordPress
  4. Configuration: Options » Filter Bad Words Comment.
download Download filter_badwords_comment.zip 1.0.2
Size: 6.6 KB
Tag:Blog, censura, commenti, database, dizionario, download, Mysql, Php, Plugin, Wordpress
CONTINUE READING >
14 comments
Lug 7 2008

Automatizzare le operazioni del cPanel da shell unix con i comandi wget, ftp e curl: download automatico del DB Mysql e monitorare la banda disponibile

Posted by Antonio Troise
Tweet

Il vantaggio di possedere un computer con Mac OS X è quello di avere sempre a disposizione, perché inclusa nativamente nel sistema operativo, una shell unix completa, per i più esperti, o Automator, per i meno esperti. Quest’ultimo strumento è una applicazione davvero potente perché consente di creare in maniera visuale, grazie ad un diagramma di flusso (workflow) e trascinando le azioni una dopo l’altra (drag & drop), programmi di automazione davvero complessi e articolati.

Ma dopo aver lavorato anni sui sistemi unix, avere sottomano una potente shell unix, è una tentazione di cui davvero non posso fare a meno. Infatti, con la semplice concatenazione di comandi (pipeline) come grep, sed e awk (altri comandi utili possono anche essere sort, uniq tail, head, cut e wc) in una sola riga, è possibile estrarre (scraping) informazioni da pagine web. Infatti, struttando il fatto che le pagine html sono, anche se in misura minora ad un più ordinato e formattato file xml, strutturate con i TAG, con pochi comandi è possibile fare del sano Web_scraping.

WGET

Il comando più potente da riga di comando per scaricare una pagina web o inviare richieste GET o POST, con o senza autenticazione è, come noto, WGET.
Per scaricare un file è possibile usare una sintassi tipo:

Ma la vera potenza di wget risiede nella possibilità di realizzare, con una sola riga di comando, un mirror ad un sito web.
Quindi per scaricare un intero sito in locale basta scrivere:

mentre, per scaricare solo una pagina con tutti i link interni:

Il problema è che sui sistemi MAC OS X, wget non è installato di default e, quindi, per chi non volesse passare per la fase di compilazione (anche se in giro esistono versioni già compilate per Tiger e Leopard) o, comunque, ha semplicemente la necessità di scaricare solo una file o una pagina web, allora è possibile usare una delle due alternative preinstallate su Mac OS X: ftp e curl.

FTP

Il comando FTP può essere usato anche per scaricare file HTTP.
La sintassi è molto semplice:

Come vedremo, in seguito, per i nostri scopi molto spesso il comando FTP è più che sufficiente per la maggior parte delle operazioni comuni.

CURL

CURL è un tool da riga di comando estremamente potente perché permette di scaricare in maniera molto flessibile ed automatizzata un qualsiasi numero di files da internet, secondo i protocolli HTTP o FTP, e di visualizzarli a schermo o di scriverli su disco.
La sintassi semplice, simile a quella dell’FTP, è:

In realtà la sintassi completa è:

Ma la vera flessibilità del comando nasce dalla possibilità di usare nella sintassi dell’URL le parentesi quadre per indicare una serie di URLs incrementali.
Per esempio una sintassi tipo:

creerà in modo automatico tutti gli URLs compresi nell’intervallo numerico specificato, e scaricherà in successione i file corrispondenti. Ai files sull’HD verrà assegnato il nome specificato dopo la flag -o, usando l’indice #1 per creare nomi univoci, incrementati allo stesso modo della sorgente.
In poche parole la singola riga di cui sopra equivarrà ad aver digitato in successione tutti i comandi:

Attenzione: il flag -O dell’ultimo esempio differisce dal flag con la o minuscola usato in precedenza, in quanto per nominare il file sul disco rigido usa lo stesso nome del file remoto.

La successione di URLs incrementali non deve essere necessariamente numerica, ma anche alfabetica, ad esempio [a-z]. Inoltre in uno stesso comando si possono combinare più indici incrementali (notate come nel nominare il file è possibile usare anche i due indici #1 e #2)

Monitorare la banda del proprio sito da riga di comando

Dati gli ultimi problemi di esaurimento della banda che hanno afflitto il mio sito, era evidente che una delle prime necessità che avevo era quello di monitorare costantemente la banda usata. Il problema è che, per farlo, dovevo ogni volta accedere al cPanel, il Pannello di Amministrazione del mio sito, dove, in un menu laterale, era possibile visualizzare la banda usata.

cPanel Bandwidth

Allora ho deciso di crearmi un semplice script che, scaricasse la pagina html del mio cPanel, andasse a selezionare, con il comando grep, la riga che conteneva la frase “Monthly Bandwidth Transfer” e attraverso due comandi awk (i file separator usati in Awk sono relativi alla mia pagina cPanel e potrebbero variare a seconda delle diverse versioni e configurazioni del pannello di controllo), estrarre la banda usata:

Come potete notare, per semplicità ho incluso, direttamente nella URL, lo username e la password per accedere al Pannello di Amministrazione. Questo è possibile solo perché il metodo di autenticazione del cPanel si basa su htpasswd ma ricordiamo che non è un metodo sicuro perché, oltre a lasciare memorizzati informazioni personali, nella barra degli indirizzi del proprio browser o nella history del terminale usato, si lasciano tracce anche nei vari proxy in cui si passa e nei log del webserver, oltre, come comunque avviene l’autenticazione classica se non passa per SSL, con un semplice sniffer.

Ci tengo a precisare che quello sopra illustrato è solo uno dei tanti modi per risolvere il problema: questo, in particolare, è il primo che mi è venuto a mente, forte delle decine di script shell realizzati negli anni. Ovviamente è possibile anche renderlo più complesso ed efficiente, parametrizzando username, password e url e, magari, notificando con una mail o con un messaggio a video (magari anche con Growl), quando la banda è prossima all’esaurimento. Il tutto ovviamente potrebbe anche essere inserito nel crontab di sistema in modo da girare ogni ora.

Per esempio, un metodo non ortodosso, sarebbe quello di visualizzare l’output non a video ma direttamente in TextEdit usando il comando open con le pipeline. Per farlo, ho riunito i tre comandi sopra elencati in un file bash di nome: monitora_banda.bash.
Quindi lanciando:

avremo questo risultato:

Output Textedit

Più in generale questo è il risultato del comando ‘open’ presente su Mac OS X.
Altri esempi, potrebbero essere:

Ma le possibilità, come vedete, sono infinite. Ma lo scopo di questo articolo era solo di illustrare alcuni metodi per automatizzare da riga di comando delle procedure. Il resto è lasciato all’inventiva di ciascuno di voi.

Download automatico del backup del DB Mysql

Il mio hosting non supporta il backup automatico del DB di Mysql perché non gestisce correttamente le schedulazioni di comandi da riga di comando. E’ per questo che ho realizzato un semplice script da inserire nel crontab, per scaricare quotidianamente il backup del proprio database.
Infatti, sempre nel cPanel, è presente una sezione “Backups” che permette di scaricare, manualmente e con un link statico, un full backup del sito, oppure un backup parziale del solo database Mysql o della sola home directory (il concetto esposto rimarrà comunque analogo per qualsiasi soluzione adottiate).
E’ evidente che, a questo punto, con un semplice comando, è possibile scaricare da terminale i backup:

Basterà quindi inserirlo (con il comando crontab -e) nel crontab (se non siete esperti potrete usare il Easy Crontab Creation Tool) in modo da fargli scaricare il backup del DB, per esempio, ogni giorno alle ore 11:30 del mattino:

Attenzione: come ogni comando da terminale, FTP (ma lo stesso vale se usate WGET o CURL) andrà ad operare nella directory corrente di lavoro, quindi se volete archiviare i file scaricati in una directory apposita, spostatevici preventivamente con il comando cd nome_directory.
Inoltre, dovete tenere presente che tutti i downloads andranno a scrivere lo stesso file e, quindi, ogni giorno ci si ritroverà con solo l’ultimo file scaricato. Se avete intenzione di tenere traccia di tutti i backup scaricati, dovrete rinominare il file, per esempio, aggiungendoci un suffisso come la data di download (realizzabile o con il comando curl o con uno script bash).

Tag:automator, awk, backup, banda, bandwidth, bash, cpanel, curl, database, download, ftp, grep, html, ksh, Mac os x, Mysql, password, sed, shell, unix, url, wget
CONTINUE READING >
5 comments
Lug 4 2008

Rapidshare: addio ai captcha per gli utenti Free! Ora è possibile scaricare fino a 200 MB alla volta senza più lunghi tempi di attesa

Posted by Antonio Troise
Tweet

Dopo avere introdotto captcha sempre più complicati da risolvere, che, oltre a contenere lettere distorte, avevano anche dei simboli come cani, gatti o auto, chi non aveva un account Premium a pagamento non era molto soddisfatto delle scelte di Rapidshare per combattere il download automatico dei file, perché rendeva il servizio davvero poco usabile. D’altra parte sembrava che, ogni azione volta a rendere difficile il lavoro di questi software in grado di leggere e interpretare i captcha, aveva come unico risultato di complicare la vita e la vista degli utenti Free che desideravano scaricare un file.

Inoltre, un altro elemento frustrante per gli utenti Free, è sempre stato il ticket time, ovvero il tempo di attesa tra un download e l’altro, che è sempre proporzionale a quanto si è scaricato fino a quel momento, e può a arrivare sino ad un massimo di 104 minuti di attesa.

Il primo passo: le Happy Hours

E’ per questo che, forse per testare un servizio a più ampio spettro, Rapidshare il 17 Aprile 2008 introdusse le Happy Hours, ovvero alcune ore nell’arco della giornata in cui anche gli utenti Free potevano scaricare liberamente godendo di una parte dei privilegi degli utenti Premium.
Se inizialmente, questa possibilità, sembrava quasi essere una sorta di pubblicità delle potenzialità di un account Premium, alla luce dei fatti odierni, è ipotizzabile che le Happy Hours siano state una fase di test intermedia per arrivare alla eliminazione completa dei captcha.

Il secondo passo: addio Captcha e lunghi tempi di attesa

Ed è infatti è quello che è successo il 2 Luglio 2008, quando con un comunicato ufficiale Rapidshare ha dato l’addio ai captcha!
D’ora in poi, quindi, anche gli utenti Free potranno caricare e scaricare file (sino a 200 MB, mentre prima il limite era di 100 MB) senza compilare alcun form ma semplicemente cliccando su un link e senza alcun eccessivo tempo di attesa tra un donwload e l’altro (infatti rimane ancora un tempo di attesa refrattario perlopiù fisso che va tra i 25 e i 45 secondi ma che non dovrebbe essere proporzionale a quanto si è scaricato sino a quel momento).

Per proteggere, però, Rapidshare da congestioni di traffico causati dai software di download automatico che, a questo punto, senza captcha avrebbero davvero la vita semplificata, Rapidshare ha posto un limite sulla velocità di download, valido ovviamente solo per gli utenti non paganti, di 500 kb/sec, e un limite pari ad 1 sul numero di download contemporanei (ovvero si potrà scaricare un solo file alla volta).

Rapidshare No Captcha
Gli account Premium

Per i Premium User, invece, ora è possibile scaricare sino a 10 GB al giorno e se non si usa tutta la banda messa a disposizione, questa si accumulerà per i giorni successivi sino ad arrivare ad un massimo di 50 GB: per esempio, se per 5 giorni non si scarica nulla, il 6° giorno si potrà scaricare fino a 50 GB in una sola giornata!

Ma non sono solo questi i vantaggi di un account Premium di Rapidshare: velocità di download illimitata (io sono arrivato sino a 2000 KB/sec), download istantaneo appena si clicca su un link rapidshare (mentre un utente free deve comunque passare per la pagina di Rapidshare e scegliere di scaricare come Free User), numero illimitato di download paralleli (mentre i free user possono scaricare solo un file alla volta) e supporto al Resume di un download e ai Download Accelerator.

La fine di Rapidshare?

Intelligentemente, credo, Rapidshare ha smesso di fare la guerra e ha giocato la carta di dare tutto a tutti, ma con delle ristrettezze, per i Free User, imposte lato server e, quindi, più difficili da scavalcare come per i captcha. Molti credono che così facendo Rapidshare soccomberà sotto il peso eccessivo dei suoi download, e che la sua fine sia davvero prossima. Sta di fatto che attualmente il sito Rapidshare.com è in posizione numero 12 tra i siti più popolari secondo la classifica di Alexa e credo che forse questa astuta mossa contribuirà a farlo restare in vetta ancora a lungo.
Staremo a vedere!

Tag:alexa, banda, captcha, download, happy hours, rapidshare, traffico, velocità
CONTINUE READING >
5 comments
Mag 31 2008

Come scaricare con Rapidshare senza limiti nelle Happy Hours: a che ora della giornata avvengono e tutti i programmi di notifica delle Happy Hours

Posted by Antonio Troise
Tweet

Credo che Rapidshare sia uno dei migliori servizi di One-click hosting perché, anche se presenta molte limitazioni per gli utenti non premium, è comunque molto veloce nel download dei file di grosse dimensioni, rispetto a siti come Megaupload (che comunque ha meno restrinzioni), YouSendIt, Mediafire o Filefront.

I limiti di Rapidshare

Il problema maggiore di Rapidshare è che, se non si è utenti paganti, bisognerà far fronte a notevoli disagi:

  1. Limite di 100 MB scaricabili dallo stesso indirizzo IP
  2. E’ possibile scaricare solo un file alla volta
  3. Sono stati introdotti dei nuovi captcha (già per loro natura poco usabili) che, oltre a contenere lettere distorte, contengono anche dei simboli come cani, gatti o auto, e solo quelle lettere con i gattini andranno scritti nell’apposita area. Insomma a volte è davvero difficile identificare la sequenza dei caratteri giusti!
  4. Infine, un’altra cosa davvero frustrante per gli utenti free, è il ticket time, ovvero il tempo di attesa per il download successivo, che è sempre proporzionale a quanto si è scaricato fino a quel momento, e può a arrivare sino ad un massimo di 104 minuti di attesa. La regola è semplice: ogni megabyte scaricato corrisponde a 60 secondi di attesa per il successivo download.
Le Rapidshare Happy Hours

Quello che non tutti sanno è che, però, RapidShare ha attivato dal 17 Aprile 2008 le Happy Hours, ovvero di alcune ore nell’arco della settimana di download libero e in cui gli utenti free potranno godere di alcuni privilegi premium. Infatti, all’utente non sarà richiesto l’inserimento di alcun captcha, si potranno scaricare più file (anche usando un download manager), non sarà attivo il sistema ticket-based di attesa per il download e non vi saranno limitazioni della quantità di MB scaricabili.

Di solito le Happy Hours di Rapidshare sono:

Lunedi – Venerdi 00:00h – 18:00h (UTC+1)
Sabato – Domenica 00:00h – 14:00h (UTC+1)

L’estensione di notifica delle Happy Hours per Firefox

Se avete paura di dimenticarvi questi eventi quotidiani di download libero, allora potreste essere felici di sapere che esiste anche una comoda estensione per Firefox (per ora compatibile solo per le release 1.5 e 2.0): HappyChecker 1.0. Questo piccolo addon, lavorando in background, consente di essere informati, tramite un avviso, su eventuali Happy Hours programmate dallo Staff di RapidShare. L’estensione ha avuto un discreto successo visto che, come si legge dal blog dell’autore, è stata scaricata 2439 in soli 7 giorni.

Le applicazioni di notifica delle Happy Hours per Windows

Se non siete soliti usare Firefox o lo usate di rado tanto non lasciarlo sempre aperto, allora esiste anche una applicazione per Windows, Rapidshare Happy Hours Detector, che risiederà nella vostra tray area e vi notificherà, con un popup o un suono a vostro piacimento, quando le Rapidshare Happy Hours sono abilitate. L’applicazione richiede il Microsoft .NET Framework 3.5. Cliccate qui per scaricare direttamente il file di installazione.

Se non disponete, però, del Microsoft .NET Framework 3.5 allora potete anche usare Rapidshare Happy Hours Detector 2 (qui il download diretto) oppure HappyCat 1.0.1 (qui il download diretto).

Tag:captcha, download, estensione, firefox, happy hours, rapidshare, Windows
CONTINUE READING >
8 comments
Apr 16 2008

In Francia sta per passare una legge contro il p2p: per chi scarica illegalmente scatta il taglio della linea da parte del provider che dovrà monitorare tutti

Posted by Antonio Troise
Tweet

E’ noto che il download illegale di musica e film è un problema fisso per le finanze delle case discografiche e cinematografiche. Per venire incontro alle lobby della musica e del cinema, molti governi stanno inventando nuovi metodi di soppressione che, secondo me, si avvicina molto ai tanto contestati metodi cinesi.

Provider poliziotti in Francia, Nuova Zelanda, Inghilterra e Giappone

E’ notizia di ieri, infatti, che Francia (grazie all’impegno personale di Nicolas Sarkozy) ma anche Inghilterra, Giappone e Nuova Zelanda, stanno facendo forti pressioni affinché i provider Internet si trasformino in veri e propri cyberpoliziotti.
Secondo loro, infatti, dovrebbero essere loro ad individuare e, conseguentemente, bloccare i clienti che utilizzano internet illegalmente: alla terza volta che si è beccati a scaricare o condividere file senza pagare, scatta il taglio della linea internet da parte dello stesso provider che la fornisce. Purtroppo, sembra che, nonostante sia stata simbolicamente bocciata dal Parlamento Europeo, a Maggio, in Francia, questa proposta diverrà legge!
In realtà questa idea non è nuova: in Nuova Zelanda è già legge, mentre in Inghilterra il provider Tiscali UK, ha chiesto che il costo da sostenere per installare i filtri per l’individuazione dei trasgressori, siano divisi con l’industria discografica, che ovviamente non ha accettato.
In Giappone, invece, i quattro principali provider hanno raggiunto un’intesa per bloccare la linea a tutti gli utilizzatori di WinNY, un popolare programma di file sharing.

La situazione in Italia

Al momento, invece, in Italia vi è una sentenza della Cassazione che fa giurisprudenza e che afferma che non è reato scaricare musica o film tutelati dal diritto d’autore se non lo si fa a fini di lucro. Ma il confine è molto labile, ed è noto che da anni molti provider hanno installato filtri per rallentare il download su particolari porte usate dai software p2p.

E’ evidente, però, questa situazione rientra nell’ambito della violazione dei diritti dei cittadini. Infatti, non dovrebbe essere compito dei provider investigare sul tipo di utilizzo che il proprio abbonato fa della Rete: sarebbe come se i provider potessero eseguire indipendentemente intercettazioni telefoniche.

Il cattivo esempio della Cina

Il pericolo più grande, però, è che i filtri anche per il controllo del contenuto possano anche essere usati per controllare cosa cerca su internet un utente e dirottarlo, magari, verso altre siti, proprio come avviene già in Cina. Chi non lo sapesse, in Cina esistono dei firewall che bloccano la navigazione su siti ritenuti scomodi o non appropriati, dirottando verso altre lidi le navigazioni verso tutti i siti ritenuti sovversivi, scomodi per il governo. Il blocco della navigazione avviene, sostanzialmente, in 3 modi:

  1. Blocco sui DNS: potrebbe apparire un “sito non trovato”.
  2. Reset della connessione: nel protocollo di trasmissione è stato deciso che se esistono dei problemi di sincronia tra due computer, uno dei due si deve scollegare e reinizializzare una nuova connessione. Sfruttando questo funzionamento, quando viene richiesto di vedere un sito nella lista nera, i server Cinesi forzano i client a resettare la loro connessione. Il messaggio che ne risulterà sarà: “La connessione è stata reimpostata”.
  3. Blocco tramite parole chiave presenti in un dizionario inglese: tra i tre filtri è quello più evoluto. Consiste nell’analizzare le parole presenti nel sito e comportarsi di conseguenza. E’ un filtro a tematico che sfrutta parole chiave del vocabolario inglese.

Chiunque tenti di “navigare” dalla Cina, si accorge immediatamente della lentezza. Questo accade perché la Cina è immensa e si connette col resto del globo con un numero esiguo di grandi vie: ne consegue che la rete è congestionata per dei colli di bottiglia.

Insomma, se i firewall della Cina sembrano una realtà fuori dal tempo, credo che forse abbiano ispirato le grandi democrazie europee e spianato la strada ad una nuova filosofia del controllo e del Big Brother Cibernetico. Ci sarà da preoccuparsi?

Tag:download, firewall, Internet, p2p, Provider
CONTINUE READING >
3 comments
SeguiPrezzi - Risparmia con Amazon.it

Categorie

Commenti Recenti

  • Antonio Troise on UltraEdit: per i programmatori esigenti il miglior editor di testo per Windows, Mac OS e Linux
  • Fioredicollina on UltraEdit: per i programmatori esigenti il miglior editor di testo per Windows, Mac OS e Linux
  • Antonio Troise on UltraEdit: per i programmatori esigenti il miglior editor di testo per Windows, Mac OS e Linux
  • Emanuele on UltraEdit: per i programmatori esigenti il miglior editor di testo per Windows, Mac OS e Linux
  • Luca on iDatabase: la valida alternativa di Bento per macOS e iOS per i database personali

Meta

  • Accedi
  • Entries RSS
  • Comments RSS
  • WordPress.org

Friends Link

  • GamerTagMatch
  • SeguiPrezzi.it – Risparmia con Amazon.it
  • Trendy Nail

Seguimi su:

  • facebook
  • twitter
  • rss
Creative Commons License
Levysoft by Antonio Troise is licensed under a Creative Commons Attribuzione-Non commerciale 2.5 Italia License.
© Copyright 2004 - 2014 - Levysoft by Antonio Troise