Este es un problema bastante común para los desarrolladores que trabajan sobre bases de datos:

Llaman un set de resultados y se encuentran que uno de los campos no es mas sino un listado de ID’s. Ahora como traigo los datos de ese campo?

Muy a menudo me encuentro con desarrolladores SQL que aplican la siguiente lógica para solucionar este problema:

SELECT * FROM países

          foreach($países as $país) {
                    SELECT * FROM ciudades WHERE país = $país
                              foreach ($ciudades as $ciudad) {
                                        …

Que como pueden ver, no solo es difícil de manejar sino que es imposible de crecer logicamente y en ultimas, confuso de leer. Mas que genera una cantidad de gasto de memoria tanto en el PC corriendo php como en la base de datos que genera la busqueda especifica.

Afortunadamente, tenemos la flexibilidad de una función MySQL hecha precisamente para llamar datos entre dos tablas conectadas con un campo en común: JOIN

Por ejemplo, usando JOIN, llamar un set de resultados de direcciones a base de país requeriría del siguiente query:

SELECT * FROM direcciones. AS dir
JOIN países AS p ON p.país = dir.pais
WHERE … cualquier condicion

Mejor! Esta búsqueda generaría el siguiente set hipotético de resultados para presentar usando php (ojo que esta organizado por las columnas de “país”):

 p.id  |  p.pais   | dir.id  | dir.pais  | dir.direccion
 1     |  USA      | 3       | USA       | 200 West Chadderdon Avenue
 2     |  Mexico   | 4       | Mexico    | 823 Monte Libano
 4     |  Colombia | 2       | Colombia  | Carrera 9B Bis #117-32
 3     |  Colombia | 1       | Colombia  | Calle 127 #42-45

Fácil, no? Bueno, a simple vista si, pero con esto estamos tan solo raspando la superficie del problema en el que nos podemos encontrar si tenemos dos tablas que no necesariamente contengan datos simétricos.

Para solucionar este problema, hay que considerar el juego de herramientas JOIN entero: 
LEFT JOIN, RIGHT JOIN, INNER JOIN y OUTER JOIN.

Cuando me lo cruce originalmente, este post de Jeff Atwood que explica como funcionan los JOIN me soluciono una cantidad de problemas, hoy en día ya lo he reenviado tanto que decidí colgarlo aquí:

JOIN, una explicacion visual

Entonces, para lograr entender entonces que tan poderosa es la utilidad JOIN, voy a visualizar dos tablas que contengan tan solo algunos datos en común:

id nombre       id  nombre
-- ----         --  ----
1  Pirata       1   Rutabaga
2  Mico         2   Pirata
3  Ninja        3   Darth Vader
4  Spaghetti    4   Ninja

Listo? ahora veamos a ver como como caen las mezclas de datos usando JOIN

INNER JOIN

SELECT * FROM TablaA
INNER JOIN TablaB
ON TablaA.name = TablaB.name

id  name       id   name
--  ----       --   ----
1   Pirata     2    Pirata
3   Ninja      4    Ninja

Este genera una lista de resultados que existan tanto en A como en B simultaneamente

SELECT * FROM TablaA
FULL OUTER JOIN TablaB
ON TablaA.name = TablaB.name

id    name       id    name
--    ----       --    ----
1     Pirata     2     Pirata
2     Mico       null  null
3     Ninja      4     Ninja
4     Spaghetti  null  null
null  null       1     Rutabaga
null  null       3     Darth Vader

Genera un listado que incluya todos los resultados en A y en B, asi no exista relacion entre algun campo

SELECT * FROM TablaA
LEFT OUTER JOIN TablaB
ON TablaA.name = TablaB.name

id  name       id    name
--  ----       --    ----
1   Pirata     2     Pirata
2   Mico       null  null
3   Ninja      4     Ninja
4   Spaghetti  null  null

Entrega todos los resultados que encuentra en la tabla A, pero tambien trae los resultados que empaten que aparezcan en la tabla B.

… Conociendo como funcionan los JOIN, estos son otros ejemplos que se pueden generar usando la sintáxis JOIN completa.

SELECT * FROM TablaA
LEFT OUTER JOIN TablaB
ON TablaA.name = TablaB.name
WHERE TablaB.id IS null

id  name       id     name
--  ----       --     ----
2   Mico       null   null
4   Spaghetti  null   null

Solo quiero ver los records unicos que existan en la tabla A

SELECT * FROM TablaA
FULL OUTER JOIN TablaB
ON TablaA.name = TablaB.name
WHERE TablaA.id IS null
OR TablaB.id IS null

id    name       id    name
--    ----       --    ----
2     Mico       null  null
4     Spaghetti  null  null
null  null       1     Rutabaga
null  null       3     Darth Vader

Muestrame los records que no tengan relacion alguna entre la tabla A y la tabla B

SELECT * FROM TablaA
LEFT JOIN TablaB
ON TablaA.name = TablaB.name

… es equivalente a

SELECT * FROM TablaB
RIGHT JOIN TablaA
ON TablaA.name = TablaB.name

Como sea el caso, no hay cosa mas frustrante que acabar varado con una película o episodio en su nativo alemán [ingles, francés, italiano, mandarín] después de aguantarse una larguísima descarga.

Esta guía viene a base de la cantidad de correo que me llego desde que publique mi guía de descargas que hice un poco atrás y les explica como subtitular sus películas o episodios de tele en formato Divx a [virtualmente] cualquier idioma usando el mismísimo reproductor de video VLC. Créanlo o no, es bien simple.

Como funcionan los subtitulos?

Básicamente, son archivos en texto plano. Tal cual! de hecho, un “archivo de subtitulos” en notepad se vería así:

1
00:00:01,000 –> 00:00:02,000
Primer subtitulo

2
00:00:02,500 –> 00:00:10,000
Segundo subtitulo <font size=”5″>con opcion de texto grande</font>, o con texto en  <i>itálicas</i>.

El “formato estándar” entonces se le conoce como un archivo .srt, y solo con conseguirlo, hemos hecho la parte mas tediosa de la tarea.

Ahora, aviso antes que venga lo demás; para Windows hay una opción bastante viable, un programita que llama DirectVobSub (lean mas saltando a la sección mas abajo “Y … sin VLC?”).

Para Mac (o Windows si no quieren un programa que corra de fondo a todas horas), VLC, el reproductor de videos, es de lejos el programa que mas nos va a simplificar la vida en el momento de unir archivos .srt y películas divx (.avi) así que me voy a enfocar en este.

VLC solito se encarga de pintar el texto subtitulado encima de la imagen, y de hecho tiene varias opciones ajustables al respecto, acá la pantalla de configuración:

Subtitulos hechos por cualquier persona!

Esta es una interesante. … No, no hay ninguna casa productora detrás de los subtitulos (sobretodo en series de tele), por lo menos en cuanto a las películas o series que no existan disponibles en DVD.

Por lo general, los subtitulos vienen de aficionados. Gente como Pablo Diaz o Lilia Carone quienes solo requieren de tiempo y un editor de texto para salir corriendo a traducir tan solo minutos después que pasa al aire la primera edición. El trabajo de estos dos y varios otros lo encuentran en subscene.com, por ejemplo.

Y sobre el que los motiva? bueno, en las mismas palabras de Pablo: Me gustan los idiomas

Es notable el hecho que, por lo general, aun después que se publica el DVD con una versión oficial de los subtitulos en varios idiomas, todavía se mantiene alto el trafico de los archivos de subtitulos hechos “a mano”.

Subtitulando una pelicula en ingles, un ejemplo

Primero lo primero. A buscar el archivo .srt. Para esto, me dirijo a http://www.subscene.com (aunque hay una infinidad de sitios, pueden saltar hasta el final para ver una lista).

una búsqueda rápida me genera los siguientes resultados: estos son solo los que están en ingles!

Y podemos ver que cada archivo tiene un espacio para añadir comentarios

… Ahora, después de su respectiva descarga, ubicamos el archivo .srt al lado del archivo de la película (.avi, mas que todo para no perderlo). Acá pueden ver como yo decidí descargar un archivo que coincida en nombre al archivo .avi que descargue, aunque no es necesario.

y listo! ahora solo es abrir VLC y buscar File->Open FIle. Antes que cualquier cosa, le damos una pasada al cuadrito de “cargar archivo de subtitulos”

Ojo que hay que configurar las opciones de subtitulos (el botón próximo – Settings…), donde tenemos que navegar hacia donde se ubique el archivo .srt, se debería de ver algo similar a esto

Válgase anotar que no siempre se va a ver así. Por ejemplo, no es raro que los subtitulos tengan un ligero desajuste con el video y muestren texto antes o después de lo debido, para lo cual hay que estar atentos a los parámetros “Delay” y “FPS“. Por lo general es mas recomendable descargar una versión alterna del archivo .srt antes que molestar con la sincronización de video a texto.

… Ahora, le damos OK y VLC nos devuelve al dialogo de “Abrir Archivo”.

Y listo! Cuando arranque la pelicula (o serie) esta ya lleva los subtitulos encima.

Y… sin VLC?

Para Windows, hay una opción aun mas viable. DirectVobSub. Este es un programita que corre de fondo, y siempre y cuando tengan un archivo de subtitulos, con extension .sub y el mismo nombre de archivo que la pelicula en la misma carpeta, este auto-carga los subtitulos sin preguntar. Sirve sobre Windows Media Player!

Un tip? DirectVobSub entiende subtitulos de casi cualquier formato pero tiene el requisito de que el archivo de subtitulos igual se “apellide” .sub, asi que lo unico que tienen que hacer después de conseguirlos en su website favorito es ponerlo contiguo al archivo .avi y renombrarlo a [nombre_de_pelicula].sub y voila!

Sitios de descarga de archivos .srt

Multi-idioma:

• OpenSubtitles
• Subscene
• DivX Subtitles
• DivX Subtitles World
• RDW Subtitles
• Subbiee Search
• Any Subs

Idiomas Específicos:

• Bulgarian Subtitles (Bulgaro)
• Central Subtitles (Portugues)
• DivXForever (Turco)
• DivX Norway (Noruego)
• DivX Nurkka (Finlandes)
• DivX Planet (Turco)
• DivX Sweden (Sueco)
• Greek Subs (Griego)
• Hosszupuska (Hungaro)
• Ondertitels (Holandes)
• MoviePlace (Griego)
• Napisy.info (Polaco)
• NL Ondertitels (Holandes)
• Podnapisi (Eslovaco, Croata, Serbio, …)
• SubDivX (Español)
• Subiarkisto (Finlandes)
• Subtitle Source (Sueco, Finlandes, Danes y Noruego)
• Subtitles.de (Aleman)
• Subtitles.ee (Ruso)
• Torec.net (Hebreo)
• Undertexter (Sueco)
• Videometre (Turco)

Ya era hora! Estrenando wordpress para iphone que me canse del límite de 140 caracteres.

Aún así, por si ver los updates de mi -otro blog no fuese suficiente, los invito a pasarse por http://twitter.com/mpastrana

Al parecer, aparte de los “usuales” enlaces mailto: y callto: existe una larga lista de esquemas URI no-universalmente aceptados por los navegadores… ahora, primero, que es un URI?

Segun el documento que lo especifica (rfc3986), la URI (o, Uniform Resource Identifier) es el puente sintactico entre tu navegador, el protocolo de comunicacion y el servidor. En su uso mas comun este refiere a websites, y asi como hay mucha habla sobre la eliminacion del “tripledobleu”, este es otro de aquellos que espero ver menos a medida que pasa el tiempo.

La sintaxis URI trabaja del siguiente modo:

  foo://usuario:clave@ejemplo.com:8042/pagpor/alla/index.dtb;tipo=animal?nombre=gato#nariz
   \ /     \___________/\__________/ \__/\__________/ \___/ \_/ \_________/ \_________/ \__/
    |           |            |        |          |         |         |                 |       |              |
esquema info_usuario   dominio    puerto   ruta      archivo extension parametro(s)/consulta
    |    \______________________________/
    |                autoridad
    |     ______________________
   / \ /                                      \
  urn:ejemplo:animal:gato:nariz

En su blog, Gregorio da una fila de los mas utiles:

• VoIP (general): callto:<screenname> o callto:<phonenumber>
• Windows Live Messenger: msnim:[add|chat|voice|video]?contact=<username>
• GTalk: gtalk:<username>
• Yahoo! Messenger: ymsgr:sendIM?<screenname>
• Jabber: xmpp:<username>
• AOL Instant Messenger: aim:[goim|addbuddy|buddyicon]?<parameters>
• Skype: skype:<username|phonenumber>[?[add|call|chat|sendfile|userinfo]]
• Feeds: feed:<absolute_uri> or feed://<hierarchical part>
• IRC: irc://<host>[:<port>]/[<channel>[?<password>]]
• Last.fm: lastfm://<radio_stream> or lastfm://globaltags/<genre> o lastfm://user/<username>/<stuff>
• eDonkey2000: ed2k://|file|<filename>|<size of file>|<hash of file>|/ o ed2k://|server|<host>|<port>|/
• iCalendar: webcal://<hierarchical part>

pero aca una lista que demuestra de que tan inutiles detallados estos pueden llegar a ser,

• Andrew File System global file names afs://
• Prospero Directory Service prospero://
• xmlrpc.beeps: xmlrpc.beeps://
• Uniform Resource Names urn://
• opaquelocktokent opaquelocktoken:// 
• Diameter: Protocol aaa://
• Diameter: Protocol with Secure Transport aaas://

… y mi favorito en inutilidad,

• TV-Anytime Content Reference Identifier crid://

Entonces, sabiendo esto, tecnicamente yo podria decir: llamame(skype) o buscame hoy en la tarde, que van a presentar algo sobre las proximas olimpiadas.

Si ustedes son algo como yo, y por el hecho que esten leyendo este blog asumo lo son, van a tener algun aspecto de vida digital por administrar. En mi caso; no es uno sin por dos, venga y contamos los servicios:

• Facebook (y Fonebook)
• LinkedIn
• Outlook
• Address Book
• Plaxo
• Twitter
• Flickr
• WordPress
• iPhone (incluye el Address book, Mail, Flickr, Twitter, … y demás)
• Geni
• Netvibes
• Open WebMail
• USA2me
• Skype
• MSN
• Post-its!

Y FIJO hay otro por ahi que se me quedo … pero bueno, como es esto de dos? pues:

Offline: USA2me, Outlook, Address Book, iPhone y los Post-its

Online: Twitter, Flickr, WordPress, Geni, Netvibes, WebMail, Skype y MSN

O mejor, esta grafica:

Ya? Facil. Que impresion! para pensar que hace nada uno se memorizaba los telefonos y direcciones de sus amigos y familiares!. Tan solo piensen que cada servicio tiene su propia configuracion, estandar, plataforma e interaccion. El reto mas dificil aca es mantener el relajo pegado como un solo conjunto, mejor dicho:

- En mi blog (via plugins), hospedo a Twitter y Flickr.

- En Facebook (via aplicaciones), hospedo a Twitter, Flickr y WordPress.

- En Outlook (via extensiones y subscripciones) hospedo a Plaxo, WordPress, Netvibes y Facebook

Queda claro? Por supuesto, que… pensandolo bien, mi herramienta mas util en el embrollo viene a ser mi mac donde hospedo a Facebook, Outlook, Address Book, Plaxo, Twitter, Flickr, WordPress. el iPhone (sync), Geni, Netvibes, WebMail, USA2me (consola administrativa), Skype, MSN y si consideramos su superficie sin uso, tambien los Post-its! Phew! Saben que? Me alegro de tener mi mac.

Y con todo esto que me gano? 551 contactos en Facebook, 838 contactos en Outlook, mas de 150 familiares registrados en Geni, 30 contactos en Plaxo y un sinnumero de fotos en Flickr, Facebook, Plaxo, Twitter… sigh. Ah si, y un relajo de menciones en Google, Yahoo y Technorati. Bueno; por lo menos ya sabemos el porque no se puede seguir contando con la cabeza eh?

De costumbre, me gusta tener todos mis contactos en Outlook, que a su ves se vuelve mi lista de números en el iphone, mac address book y otro sinnúmero de lugares gracias al plaxo sync. Así que amigo o no amigo, igual clasifica como contacto.

De costumbre, y gracias al hecho que facebook no permite hacer descargas de listas a Outlook (o a cualquier cosa ya que va en contra del EULA), por los últimos 2 años me he llevado a la costumbre de planear una noche, mañana o día para que, en viñetas únicas de firefox, cargue cada uno de mis contactos y, con mucho café en mano; me dedico a copiar la información a Outlook, uno a uno. Si ya se, que tedio!.

Hoy decidí hacerle corte a este vicio. De hecho, con los 530-yalgo contactos que encuentro bajo mi perfil de Facebook, estaría viendo unos dos o tres días de labor manual, esta guia explica el como solucione mi problema con un poco de PHP, MySQL y paciencia.

De antemano me disculpo si el articulo cae un poco, técnico. Traten de seguirme la bola. Algún día muy pronto, Facebook y Plaxo harán un import/export tool, pero por ahora, es así o así.

Screen Scraping – Que es?

Primero que todo, no esta bien visto esto del “scraping”. A través de PHP, es la practica de programar un website para que “a mano automatizada” lea otro website (ej: programar una pagina _mía_ que da los precios del NASDAQ en el instante que cargue, leyendolos del código fuente de CNNMoney.com). Y que es lo que pasa con el scraping? no solo anota visitas “falsas” del lado de CNNMoney, sino que trae a luz moderna la vieja practica del “hotlinking”, donde yo en esencia me estoy robando ancho de banda de otros al colgar imágenes en mis paginas, que no estén hospedadas en mi servidor.

Estrategia

Primero lo primero. Para aquellos que no lo tengan bien medido, hay tres (si, tres) portales de facebook (en la plataforma publica). Facebook estandar (en www.facebook.com), Facebook Mobile (en m.facebook.com) y Facebook para iphone (en iphone.facebook.com). Para los curiosos, facebook tambien tiene portales privados (en los casos de compañias que compran facebook corporate -ejemplo: redbull). Para este proyecto voy a explotar la diferencia entre portales, mas importantemente; el hecho que facebook mobile es un mini-facebook en html plano (de minimo uso de ancho de banda), que le da la vuelta al problema que en los otros portales, los llamados de datos son tablas en ajax o flash, para el caso de PHP cURL, es lo que llaman un “showstopper”.

De hecho, los invito a pasarse por m.facebook.com, desde firefox o desde el celular (el portal de iphone tambien sirve!).

El proyecto entonces, gracias a las herramientas disponibles, lo armo del siguiente modo:

• Paso 1: Un levante de información que trae a mi base de datos una lista de todos mis contactos y su identificador privado dentro de Facebook

• Paso 2: Un proceso iterativo que se base en la lista generada en el paso 1, que mire cada pagina de perfil de usuario según el id privado, levante cuanta información pueda de este y la anote a otra tabla en la base de datos

• Paso 3: Un script que deje descargar los datos desde la base de datos en formato vcard (vcf)

Retos y problemas previstos? Uno, y grande. Facebook no presenta las direcciones de email en texto plano sino en ves genera una imagen con el email impreso (trata de hacer copy paste de cualquier email en algun perfil de usuario!). De todos modos, para traer la foto del perfil del usuario existen soluciones simples.

Un poco de codigo

Asi que, manos a la obra.

Paso 1:

Primero voy a generar un script que me deje emular el sistema de login a facebook mobile, para este; voy a explotar el hecho que www.facebook.com (un login por html), envía una variable que genera una redirección. Para aquellos que no saben nada de cURL, aca hay una guia.

Las variables importantes acá son:
curl_setopt($ch, CURLOPT_URL, ‘https://login.facebook.com/login.php?m&next=http%3A%2F%2Fm.facebook.com%2Fhome.php’);curl_setopt($ch, CURLOPT_POSTFIELDS,’email=’.urlencode($login_email).’&pass=’.urlencode($login_pass).’&login=Login’);

Y ojo que también hay que decirle a cURL donde dejar las cookies que entregue Facebook (ojo que el archivo tiene que existir, y debe de tener privilegios de acceso para escritura, osea: chmod 777):
curl_setopt($ch, CURLOPT_COOKIEJAR, “myCookieFile.txt”);
curl_setopt($ch, CURLOPT_COOKIEFILE, “myCookieFile.txt”);

Y una mas, a facebook no le gustan los headers básicos de cURL, asi que toca simular que somos alguien en un browser normal, ya que planeo ejecutar el codigo desde el browser, voy a decirle a cURL que recicle el agente:
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);

Va? Nuestro script entero, para hacer login a facebook y traerse el contenido entero al browser entonces es:

//login a fb
$login_email = ‘FACEBOOK@EMAIL.COM’;
$login_pass = ‘PASSWORD’;

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, ‘https://login.facebook.com/login.php?m&next=http%3A%2F%2Fm.facebook.com%2Fhome.php’);
curl_setopt($ch, CURLOPT_POSTFIELDS,’email=’.urlencode($login_email).’&pass=’.urlencode($login_pass).’&login=Login’);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_COOKIEJAR, “myCookieFile.txt”);
curl_setopt($ch, CURLOPT_COOKIEFILE, “myCookieFile.txt”);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
curl_exec($ch);

//So what? bueno, ahora hagamos un llamado con cURL!

curl_setopt($ch, CURLOPT_POST, 0);
curl_setopt($ch, CURLOPT_URL, ‘http://m.facebook.com/home.php’);
$page = curl_exec($ch);
print_r($page);

Guarda, abre el script desde firefox (ojo a los permisos del archivo txt de cookies -myCookieFile.txt) y:

Fácil ah? Bueno, ahora lo divertido.

Primero, me dirijo a la pagina que me interesa http://m.facebook.com/friends.php?a, y le digo a cURL que envie todo a una variable $html :

curl_setopt($ch, CURLOPT_POST, 0);
curl_setopt($ch, CURLOPT_URL, “http://m.facebook.com/friends.php?a”);
$page = curl_exec($ch);

curl_setopt($ch, CURLOPT_FAILONERROR, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
$html= curl_exec($ch);
if (!$html) {
echo “<br />cURL error number:” .curl_errno($ch);
echo “<br />cURL error:” . curl_error($ch);
exit;
}

y despues, le digo a PHP que lo traduzca a un DOM…

$dom = new DOMDocument();
@$dom->loadHTML($html);

… se pesque solo los items <a href> (links)…

$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate(“/html/body//a”);

… y finalmente, lo pongo en un loop a analizar cada enlace por si solo:

//iteramos …
for ($i = 0; $i < $hrefs->length; $i++) {
$href = $hrefs->item($i);
$profile_url = $href->getAttribute(‘href’);

//… filtrando solo los enlaces que lleven a perfiles
if((strpos($profile_url,”/profile.php?id=”) !== false) && strpos($profile_url,”http://m.facebook.com/”) === false){

//… y nos guardamos en la base de datos el nombre del contacto y la URL que apunta al perfil
$profile_name = $href->nodeValue;
storeLink($profile_url,$profile_name);
echo “<br />Profile URL Stored: $profile_name ($profile_url)”;

} //end filter

}//end single page reading

BTW, esa funcion que guarda en la base de datos (storeLink), la arme del siguiente modo (usando ADOdb):

function storeLink($url,$profile_name) {
global $db;
$query = “INSERT INTO fb_profiles_list (profile_url, profile_name) VALUES (‘$url’, ‘$profile_name’)”;
$insert = $db->Execute($query);
}

Listos? bueno pues falta. resulta que la pagina que estamos mirando solo muestra 10 records, asi que hay que iterar, segun la cantidad de contactos, la estructura es la siguiente: http://m.facebook.com/friends.php?a&p=$page_counter. Personalmente, tengo el loop estructurado a mano, asi que; como poseo 532 contactos, a 10 contactos por pagina; pues me preparo un loop que cuente 54 pasadas de pagina.

$num_pageflips = 54;
for ($page_counter = 1; $page_counter <= $num_pageflips; $page_counter++) {
…
curl_setopt($ch, CURLOPT_URL, “http://m.facebook.com/friends.php?a&p=$page_counter”);
…

Asi que, nuestro script para el paso 1 (incluyendo el archivo de los cookies), lee asi (Phew!):

<?
/*******************************
* Facebook Downloader (to MySQL)
* Mauricio Pastrana
* http://www.via-the-internet.com
* January 2008
*
* Many Thanks to: Christian Flickinger (http://nexdot.net/blog) and (http://textsnippets.com/posts/show/1204)
* Justin Laing (http://www.merchantos.com/makebeta/php/scraping-links-with-php/)
*
* **DONT RUN BLINDLY, DONT DISTRIBUTE SO FREELY, WATCH OUT FOR LINES 26, 27 and 56
*
*******************************/

//get our database (using ADODB: http://adodb.sourceforge.net/)
require(‘includes/database/connection.inc’);

//a function to write to the database
function storeLink($url,$profile_name) {
global $db;
$query = “INSERT INTO fb_profiles_list (profile_url, profile_name) VALUES (‘$url’, ‘$profile_name’)”;
$insert = $db->Execute($query);
}

//login to fb
$login_email = ‘FACEBOOK@EMAIL.COM’;
$login_pass = ‘PASSWORD’;

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, ‘https://login.facebook.com/login.php?m&next=http%3A%2F%2Fm.facebook.com%2Fhome.php’);
curl_setopt($ch, CURLOPT_POSTFIELDS,’email=’.urlencode($login_email).’&pass=’.urlencode($login_pass).’&login=Login’);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_COOKIEJAR, “myCookieFile.txt”);
curl_setopt($ch, CURLOPT_COOKIEFILE, “myCookieFile.txt”);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
curl_exec($ch);

//need to test this? comment the uncomment this, comment everything else below it and browse to the script, you should get the m.facebook.com home page

/*curl_setopt($ch, CURLOPT_POST, 0);
curl_setopt($ch, CURLOPT_URL, ‘http://m.facebook.com/home.php’);
$page = curl_exec($ch);
print_r($page);
*/

//ok, we’re in! now head over to friends, if you have more than 10 (most likely), then we will have to iterate

// ok so: I know this can be done on automatic, but it makes the script more readable if you do some manual work (ugh).
// It’s real easy, find out how many friends you have (login, then go to: http://m.facebook.com/friends.php?a), and
// divide the number by 10! Easy, see? now input the number here:
$num_pageflips = 54;
// I have 532 “friends” at the moment, so expect 54 pages of friends and set $num_pageflips = 54

for ($page_counter = 1; $page_counter <= $num_pageflips; $page_counter++) {

//head over to our friend page, note the first page is &p=1
curl_setopt($ch, CURLOPT_POST, 0);
curl_setopt($ch, CURLOPT_URL, “http://m.facebook.com/friends.php?a&p=$page_counter”);
$page = curl_exec($ch);

curl_setopt($ch, CURLOPT_FAILONERROR, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
$html= curl_exec($ch);
if (!$html) {
echo “<br />cURL error number:” .curl_errno($ch);
echo “<br />cURL error:” . curl_error($ch);
exit;
}

// parse the html into a DOMDocument
$dom = new DOMDocument();
@$dom->loadHTML($html);

// grab all the links on the page
$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate(“/html/body//a”);

//now iterate through the whole HTML to grab what we need
for ($i = 0; $i < $hrefs->length; $i++) {
$href = $hrefs->item($i);
$profile_url = $href->getAttribute(‘href’);

//filter out only the profile links and names!
if((strpos($profile_url,”/profile.php?id=”) !== false) && strpos($profile_url,”http://m.facebook.com/”) === false){

//get the actual person’s name (from the link as well), and store it on the db. also, let me know how it’s going
$profile_name = $href->nodeValue;
storeLink($profile_url,$profile_name);
echo “<br />Profile URL Stored: $profile_name ($profile_url)”;

} //end filter

}//end single page reading

}//end pageflips
?>

Bien ejecutado, este script les debe de dejar una base de datos con un listado de todos los contactos, mas las URL que refieren a su pagina de perfil. Como si no fuera suficiente, aca va el SQL que genera la tabla referente al paso 1:

CREATE TABLE `fb_profiles_list` (
`id` int(11) NOT NULL auto_increment,
`profile_url` varchar(255) default NULL,
`profile_name` varchar(255) default NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=latin1;

Paso 2:

Bueno, ya tenemos ahora una lista larga de URLs, no? ahora la estrategia es la siguiente. Vamos a iterar y pasar por cada uno de estos URL (usando la estructura del paso 1 para hacer “login”), y de este; leer el HTML que nos de items de interes. Voy a preparar una funcion en PHP que me rebote todo el texto en un string entre un punto de inicio y un final:

// Funcion para extraer algo atrapado entre dos strings definidas por el usuario.
// Ejemplo: $string = “<div style=’blablabla’>texto</div>”
// get_string_between($string,”<div style=’”,”‘>texto”) –> entrega blablabla
//
function get_string_between($string, $start, $end){
$string = ” “.$string;
$ini = strpos($string,$start);
if ($ini == 0) return “”;
$ini += strlen($start);
$len = strpos($string,$end,$ini) – $ini;
return substr($string,$ini,$len);
}

Listo? bueno, ahora esta facil, repito la estructura del script del paso 1, solo que ahora mirando a una pagina de perfil: http://m.facebook.com/profile.php?id=12345&full (y ojo a incluir la variable &full!)

curl_setopt($ch, CURLOPT_POST, 0);
curl_setopt($ch, CURLOPT_URL, “http://m.facebook.com/profile.php?id=”.$profile_id.”&full”);
$page = curl_exec($ch);

y estando adentro del perfil, no es sino identificar que item queremos enviar a la base de datos, generamos una variable que lo archive, y al final hacemos un “mega”llamado a store, ejemplo:

//AIM
$aim = get_string_between($page, ‘AIM: ‘, ‘<br />’);
echo “AIM: “.$aim.”<br />”;

//Yahoo
$yahoo = get_string_between($page, ‘Yahoo: ‘, ‘<br />’);
echo “Yahoo: “.$yahoo.”<br />”;

y al final:

storeProfileData($first_name, $last_name, $website, $aim, $yahoo, $windows_live, $skype, $tel, $current_address, $current_town, $home_town, $birthday, $work_info, $position);

donde:

function storeProfileData($first_name, $last_name, $website, $aim, $yahoo, $windows_live, $skype, $tel, $current_address, $current_town, $home_town, $birthday, $work_info, $position){
global $db;
$query = “INSERT INTO fb_specific_profiles (first_name, last_name, website, aim, yahoo, windows_live, skype, tel, current_address, current_town, home_town, birthday, work_info, position) VALUES (‘$first_name’, ‘$last_name’, ‘$website’, ‘$aim’, ‘$yahoo’, ‘$windows_live’, ‘$skype’, ‘$tel’, ‘$current_address’, ‘$current_town’, ‘$home_town’, ‘$birthday’, ‘$work_info’, ‘$position’)”;
$insert = $db->Execute($query);
}

LISTOS! Ahora iteramos por todo el data set del paso 1, para generar el del paso 2!

Ya a estas alturas creo, no hay nadie conmigo. … pero si tuvieron la paciencia, acá esta el script entero de la parte 2:

<?
/*******************************
* Facebook Downloader (to MySQL)
* Mauricio Pastrana
* http://www.via-the-internet.com
* January 2008
*
* Many Thanks to: Christian Flickinger (http://nexdot.net/blog) and (http://textsnippets.com/posts/show/1204)
* Justin Laing (http://www.merchantos.com/makebeta/php/scraping-links-with-php/)
*
* **DONT RUN BLINDLY, DONT DISTRIBUTE SO FREELY, NOTE YOU NEED TO RUN THE FIRST SCRAPER FIRST
*
*******************************/

//get our database (using ADODB: http://adodb.sourceforge.net/)
require(‘includes/database/connection.inc’);

//a function to write to the database
function storeProfileData($first_name, $last_name, $website, $aim, $yahoo, $windows_live, $skype, $tel, $current_address, $current_town, $home_town, $birthday, $work_info, $position){
global $db;
$query = “INSERT INTO fb_specific_profiles (first_name, last_name, website, aim, yahoo, windows_live, skype, tel, current_address, current_town, home_town, birthday, work_info, position) VALUES (‘$first_name’, ‘$last_name’, ‘$website’, ‘$aim’, ‘$yahoo’, ‘$windows_live’, ‘$skype’, ‘$tel’, ‘$current_address’, ‘$current_town’, ‘$home_town’, ‘$birthday’, ‘$work_info’, ‘$position’)”;
$insert = $db->Execute($query);
}

//a function to get the text between to user defined strings
function get_string_between($string, $start, $end){
$string = ” “.$string;
$ini = strpos($string,$start);
if ($ini == 0) return “”;
$ini += strlen($start);
$len = strpos($string,$end,$ini) – $ini;
return substr($string,$ini,$len);
}

//login to fb
$login_email = ‘FACEBOOK@EMAIL.COM’;
$login_pass = ‘PASSWORD’;

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, ‘https://login.facebook.com/login.php?m&next=http%3A%2F%2Fm.facebook.com%2Fhome.php’);
curl_setopt($ch, CURLOPT_POSTFIELDS,’email=’.urlencode($login_email).’&pass=’.urlencode($login_pass).’&login=Login’);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_COOKIEJAR, “myCookieFile.txt”);
curl_setopt($ch, CURLOPT_COOKIEFILE, “myCookieFile.txt”);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
curl_exec($ch);

//need to test this? comment the uncomment this, comment everything else below it and browse to the script, you should get the m.facebook.com home page

/*curl_setopt($ch, CURLOPT_POST, 0);
curl_setopt($ch, CURLOPT_URL, ‘http://m.facebook.com/home.php’);
$page = curl_exec($ch);
print_r($page);
*/

//ok, we’re in! now head over to each specific profile page, we’re going to have to loop through the whole dataset and use a LOT of substring magic

//first, we find out where we are as far as id’s in the db (if you’re lucky, yours starts at 1, i did some testing, so my first profile begins at id=127!)

echo “profiles found in db: “.$num_profiles = $db->GetOne(“SELECT COUNT(*) FROM fb_profiles_list”).”<br />”;
echo “first profile id: “.$first_profile_id = $db->GetOne(“SELECT id FROM fb_profiles_list”).”<br />”;

for ($profile_counter = 0; $profile_counter < $num_profiles; $profile_counter++) {

//be a little verbose
echo $profile_counter.”<br /><br />”;
$profile_id = get_string_between($db->GetOne(“SELECT profile_url FROM fb_profiles_list WHERE id=”.($first_profile_id+$profile_counter)), ‘/profile.php?id=’, ‘&r’);
echo “Now Trying: ” .
$db->GetOne(“SELECT profile_name FROM fb_profiles_list WHERE id=”.($first_profile_id+$profile_counter)) . //profile_name
” (” . $profile_id . “) <br />”; // profile_id

curl_setopt($ch, CURLOPT_POST, 0);
curl_setopt($ch, CURLOPT_URL, “http://m.facebook.com/profile.php?id=”.$profile_id.”&full”);
$page = curl_exec($ch);
//print_r($page);

//Name
$name = explode(” “,get_string_between($page, ‘<title>Facebook | ‘, ‘\’s Profile</title>’));

$first_name = $name[0];
$last_name = $name[1];

echo “First Name :$first_name <br />”;
echo “Last Name :$last_name <br />”;

//Website
$website = get_string_between($page, ‘Website: <a href=”‘, ‘?refid=17″>’);
echo “Website: “.$website.”<br />”;

//AIM
$aim = get_string_between($page, ‘AIM: ‘, ‘<br />’);
echo “AIM: “.$aim.”<br />”;

//Yahoo
$yahoo = get_string_between($page, ‘Yahoo: ‘, ‘<br />’);
echo “Yahoo: “.$yahoo.”<br />”;

//Windows Live
$windows_live = get_string_between($page, ‘Windows Live: ‘, ‘<br />’);
echo “Windows Live: “.$windows_live.”<br />”;

//Skype
$skype = get_string_between($page, ‘Skype: ‘, ‘<br />’);
echo “Skype: “.$skype.”<br />”;

//Tel
$tel = get_string_between($page, ‘<a href=”tel:’, ‘”>’);
echo “Tel: “.$tel.”<br />”;

//Current Address
$current_address = get_string_between($page, ‘Current Address: ‘, ‘<br />’);
echo “Current Address: “.$current_address.”<br />”;

//Current Town
$current_town = get_string_between($page, ‘Current Town: ‘, ‘<br />’);
echo “Current Town: “.$current_town.”<br />”;

//Home Town
$home_town = get_string_between($page, ‘Hometown: ‘, ‘<br />’);
echo “Home Town: “.$home_town.”<br />”;

//Birthday
$birthday = get_string_between($page, ‘Birthday: ‘, ‘<br />’);
echo “Birthday: “.$birthday.”<br />”;

//Work Info
$work_info = get_string_between($page, ‘Company: ‘, ‘<br />’);
echo “Work Info: “.$work_info.”<br />”;

//Position
$position = get_string_between($page, ‘Position: ‘, ‘<br />’);
echo “Position: “.$position.”<br />”;

storeProfileData($first_name, $last_name, $website, $aim, $yahoo, $windows_live, $skype, $tel, $current_address, $current_town, $home_town, $birthday, $work_info, $position);

echo “<hr>”;
}//end pageflips
?>

Ojo con Facebook!
Tengan cuidado, hay que tener en cuenta que cuando llaman este script, lo hacen desde su propia cuenta de FaceBook. Si hacen algo muy dañino (como, golpear los servidores con miles de hits de una sentada), los pueden rastrear! Ya hay mas de un caso donde Facebook tumba scripts de usuarios propagando otros “facebook downloaders.

Acá de paso dejo los archivos fuente que use, ojo a los comentarios; ahí les incluyo el paso 3, que es un script extra para extraer la informacion de la base de datos a vcards (que lee outlook). Otra sugerencia? Busquense algun app de facebook que coordine las fotos de los contactos online con las offline. Y estamos!

Tiempo total de desarrollo: 20 horas-hombre. Wow! Que lastima no poder hacer un servicio web fuera de este.

Aca puedes descargar los archivos fuente que incluyen los tres scripts y la conexion a la base de datos.

Este para mi es el paso crucial de toda “despedida de país” (ya mi tercera!), vender mis wheels… No solo quiere decir que entro a la rutina de bus y metro (bueno hombre, como todos en sydney, no joda), sino que ya ahora, que vendi mis muebles, y entregue mis bienes pesados a Mexico… no tengo pertenencia alguna! (el laptop?).

De paso, este paseo por mi nostalgia me llevo a buscar la venta anterior en Miami, que demuestra como ando de low-standards en Sydney, mientras acá arme un ad con tres o cuatro datos descriptivos, en Miami arme una pagina en eBay sobre XHTML y CSS, detalles a fondo de todos los “action items” del carro (que, de paso, los tenia escritos en una hoja que llevaba conmigo en el carro) y: 64 fotos con rollover! wow. (claro esta que gracias a que en australia hasta ahora oyen de esa cosa del eBay, igual no hay “sistema” en el cual sacar a relucir todo el tiempo libre del que dispongo, ah?)

Asi que… si hay alguien en Sydney, que le interese un bello A3 del 97, bajo en kilometros con menos de 61,000, barato y de uso estudiantil -si, estudiantil, solo que de la clase de estudiantes responsables, creo… Ya saben.

De todos modos, esta es una que le tenia ganas de escribir hace bastante tiempo, sobretodo desde que me eche mi primera pasada por la versión 1999 de esta lista (escrita por Jakob Nielsen). Algunos son problemas de diseño y usabilidad, otros son mas como de infraestructura y logica. Ni me quiero acercar a proponer soluciones, pero de lejos este es el top-5 de lo que mas me gusta quejarme (van en reversa, estilo letterman).

Hay de todo, la lista despues del salto…

5. Complicando el nombre de dominio

(o peor, metiendo las patas con el nombre)

IANA es la autoridad encargada de la numeracion y distribucion de “apellidos” (top-level-domains, los “.com”, “.net”, “.us”) en el internet, la opera ICANN (Internet Corporation for Assigned Names and Numbers). Esta parte los tlds en tres categorias: Paises (.uk, .de, .jp, .us, etc.), Dominios Genericos (.aero, .asia, .biz, .cat, .com, .coop, .edu, .gov, .info, .jobs, .mobi, .int, .mil, .museum, .name, .net, .org, .pro, .tel and .travel) e Infraestructura (.arpa). De hecho, hay mas de 50 variaciones en tld’s.

Y aun asi, constantemente me encuentro con desarrolladores que rompen esta convencion. Claro; no existe usuario Internet en el planeta que no asuma que el nombre “.com” es el primario y de ahí para abajo, pero aun asi (ademas de que complican el estandar por el uso de dominios canonicos -el algo en http://algo.dominio.com). Como es esto? ejemplo claro esta en el website del ISG, el International Sales Group en Miami quien en ves de buscarse internationalsalesgroup.us, isg.us (o variantes para ajustar disponibilidad), prefieren confundir al usuario con intlsalesgroup.us.com … como? .us.com ? es algo asi como .co.uk solo que al reves? ahora que tenemos un tld para los estados unidos .us, se vuelve mas peluda la cosa.

Asi mismo, tambien hay casos famosos de errores de transcripcion, como cartunes.com (siendo cartoons.com), penisland.com (pen – island) o expertsexchange.com (experts – exchange). Ultimamente tambien se ve una cantidad de juego con el termino .us (del.icio.us) o (amarill.us) … no se. Dudo que los boomers la cachen así de fácil.

4. Desarrollar para tan solo una plataforma

Que? esto es el 2007! la web2, linux! … esto es cosa del pasado! (y de hecho, si; este error aparece en la lista de errores de Nielsen en 1996). Y aun asi; me topo con que … sigue sucediendo!

El internet es una jungla. Tan solo yo en mi dia a dia navego desde Firefox OS X, windows sobre IE7 y también desde Safari en mi iPhone para hacer hasta las tareas mas meniales. A esto hay que sumarle que hay Linx en texto plano (y lectores para usuarios deshabilitados), Blazer (en las treo y palm), Opera… el Browser de Symbian, Explorer en Windows Mobile y los enemil clones de Firefox (Flock?)… para muchos de los cuales; en especial, no hay flash player! … y hasta el sol de hoy, todavia me sigo topando con sitios hechos en su totalidad para trabajar sobre flash.

Pero no es todo, los hay de todos los sabores (sobretodo en latinoamerica), sitios que solo corren sobre IE, o que requieren de un plugin especial solo para windows. Cual es el problema? dices… bueno; ventas perdidas, usuarios frustrados, pero mas peligrosamente; el correr código que solo ejecuta en un servidor puede ser una vulnerabilidad de seguridad bajo otro cliente. Este problema me saca de quicio porque hace mas de 4 años que se soluciono en el “mundo desarrollado” (y hoy en día el esfuerzo es en replicar el efecto sobre clientes web).

3. Andar con la ciber-bragueta abajo

Mis estadisticas son privadas. Si; hay muchos sitios donde busco pautar y … asi mismo hay sitios que tengo solo para uso privado… Pero no creo que valga la pena andar mostrando cuanta gente entra a mi sitio, de donde y porque. Pero aun asi, cada rato me topo con gente que arma sitios, y en ves de contratar servicios inteligentes de rastreo de uso (como google analytics), dejan un link -al abierto- hacia su stats counter (hasta los grandes!). Es mas, cuando sucede por lo general se trae una bella imagen que te invita a hacer el click y “sapear”. Es que acaso estan haciendo parte de un concurso de alguna clase? Bueno…

Para mi, este error esta a la altura de dejar información de la compañía al aire o, perder claves de acceso, etc.

2. Hacer uso de mensajes 404

Esta bien, este… esta abierto a debate. Las paginas 404 son las que el servidor muestra en caso que le hagas un pedido a una pagina que no existe. En su gran mayoría, estas se quedan con su templete original.

Así mismo hay una gran escuela de diseñadores que les encanta meterle mano al 404 y hacerlo de una herramienta de usabilidad -tratar de adivinar que queria el usuario, sugerir opciones, proponer acciones o … tan solo pedir disculpas por no ubicar la pagina. Esta bien; pero hay una opcion mejor, hace rato, en mi trabajo anterior, mi jefe me ilumino hacia el uso correcto de una direccion inventada o erronea … redirect! … la lógica es así, si tu llegas a una pagina que no sirve (o que ya no existe), en ves de varar tu experiencia; el 404 te debería de reenviar al home! es mas, bien hecho, quizás te podría mostrar un error en un lightbox con la disculpa (lo unico que me quedo de los 404 bien hechos), pero ahí me detengo. Así previenes gente adivinando direcciones y varados en su uso tan solo mientras descifran que es el 404.

En ultimas, mi pregunta es: para que diseñar una pagina que nadie se supone va a ver?

1. Usar direcciones complejas

(pageID, query=?, phpusersessid que no usen mod_rewrite)

mod_re… que?

mod_rewrite es un componente del servidor web apache que permite todo tipo de genialidades cuando viene la hora de guardar direcciones en el address bar. A esto me refiero, que en ves de tener sitios misitio.com/index.php?get_page=12312&user=mauricio, tienes misitio.com/mauricio/personal-page.

Nosotros no somos maquinas! cada rato me encuentro que las direcciones se vuelven mas y mas y mas largas. No es acaso el autofill uno de los modos mas frecuentes de busqueda de direcciones? (imaginate esta, quieres ir a ebay.com y estas buscando entre los previos… pero todos son una coleccion de letras y numeros que parecen como si hubieses dejado al gato caminar encima del teclado). En ultimas, mod_rewrite es bien simple de implementar.

De hecho, la existencia de estos mega-direcciones ha llevado a la creación de sitios que agarran la dirección y la vuelven corta para poder enviar a tus amigos y conocidos.

…

En ultimas, el #1 se remonta al error #5 (pero es de naturaleza diferente). Que lastima que no funciono muy bien el sistema de keywords de AOL aunque, tan solo hay tantas palabras, no? por lo menos no estamos escribiendo IPs directas al address bar (que te aprenderías los websites como teléfonos?).

Y obvio, fijo alguien encuentra uno de estos en mis propios sitio, ah? (como el 404?) … bueno, pero en el publico; ahi vamos, no? por lo menos ya nos deshicimos del <blink> … creo.

Esto me sucede cada tantas semanas: “Oye, que ya viste la nueva temporada de Desperate Housewives?, Pero si acá [en Australia] todavía ni la venden” a lo cual yo respondo, “Ahh tranquilo, ya te mando el .torrent para que las descargues”, y de seguro; a la semana o dos: “Oye, que ese archivo que me mandaste no funciona, ni siquiera winzip lo puede abrir para ver las series”. No. Así no es.

De hecho, hacer descargas con torrents es super-facil! como? bueno, primero unas básicas.

Que es un torrent?

Hace mas de un buen rato, cuando la gran mayoria de usuarios usaban el internet sobre discado (dial-up), el modo estándar de compartir archivos era el tan afamado p2p (peer-to-peer, vuelto grande por Napster, KaZaa y las versiones originales de Limewire por mencionar los mas famosos). Bajo p2p, solo aquellos quienes disponían de conexiones rápidas y permanentes (cable/dsl/t1) podrían darse el lujo de dejar una conexión abierta a los archivos que compartían. Nosotros, mas via destapada que internet superhighway, tendríamos que vivir pendientes de estos “superusuarios” y en su mayoría, tan solo la pasábamos descargando ya que compartir archivos para cargar se podría comer el ancho de banda bien rapidito. Bien por nosotros, pero mal por la economía compartida de todo el asunto gracias a la demanda masiva y oferta limitada que generaba esta practica. Acá es donde entra en juego el Torrent.

BitTorrent, el protocolo hijo de Bram Cohen que ataco este problema, funciona del siguiente modo, en efecto, este parte todo archivo compartido en bloques (casi siempre de 1mb, creo), y trafica en bloques, no en archivos, con la idea que al final se reconstituya el archivo original (y la guía de que bloques arman cual rompecabezas? el archivo .torrent del que hablaba ahí arriba). Para este, ya no depende uno de un superusuario que ande compartiendo películas a 700mb, sino mas fácil encontrar ~40 que cada uno entregue un pedazo aleatorio y al final armen el mismo entero.
Bajo la cultura torrent, se mira uno en quien esta compartiendo y quien esta solo descargando, aunque esto no nos molesta; importa saber si hay usuarios “seeders” quienes estan en esencia compartiendo el archivo completo. -Esto importa! en su minucia, un archivo esta en potencia en existir compartido al 80%, pero si no hay seeder, no hay modo de descargar el archivo entero (si me entiendo? veamos este escenario: digamos que hay 4 usuarios, y todos descargaron hasta 80% del archivo original de un seeder quien después se puso offline, pues ahora todos estamos jugando al trueque, y nadie tiene el completo!).

Trivial? parece, pero hay que considerar que en el 2005, hasta el 52% del trafico en el internet se comprometía de BitTorrent (que incluyen la arquitectura detrás de Skype y Joost por ejemplo). Hoy en día, aunque la RIAA y MPAA miren la practica de para abajo, igual es el modo mas rápido y eficiente de adquirir medios, aun cuando existen opciones! (aunque, siendo honestos, gracias a la practica común de limitar servicio a ciertas zonas geograficas, se encuentra uno descargando antes que mercando de seguro).

De paso, acá una guia cortita de los términos mas importantes.

Como descargar archivos usando torrents, un ejemplo.

Para usar torrents se necesitan tres cosas:

• un cliente de descargas (alias, el programa para descargar, lo que antes era KaZaa o Limewire).
• un motor de búsquedas de torrents (ya que los programas de descargas por lo general se desentienden de este).
• una idea de que es lo que se quiere obtener.

Porque incluyo el tercero? gracias a su naturaleza y eficacia, es muy común ver torrents de 20gb con titulos como: “nip/tuck, all seasons“. Asi mismo, encuentras colecciones enteras de autores de libros, peliculas, sistemas operativos y demás. Es simplemente muy difícil encontrar algo “rapido” y puntual en caso que uno este solamente: browsing.

Voy a hacer el ejemplo de arrancar la descarga de una serie al azar de tele, como para mostrar como lo hago con mi apple tv.

El cliente de descargas

Esta guía la estoy escribiendo desde mi mac, asi que me perdonan si no me llevo los screenshots para windows. De todos modos, la naturaleza del uso es la misma.

Para descargar, yo hago uso de uno de dos programas, sobre OS X, Transmission. Sobre Windows, uTorrent. Ambos son clientes-clon del cliente original, pero en mi opinion (y sobre las versiones disponibles hoy), ambas son mas completas y mas simples de usar.

El motor de busqueda

Este es el lugar donde se siente la mejora sobre los programas de descargas viejos. Por lo general, los motores de busqueda son websites que, gracias a su generosidad y afinidad por el riesgo, comparten la ubicacion de los archivos compartidos (y sus respectivos “trackers”, pero esto no esta siendo discutido aca). Entre los mas famosos (del momento):

• Mininova
• The Pirate Bay
• ISOHunt
• Demonoid

Asi que, para mi cortito “demo”, voy a hacer el ejercicio de descargar un episodio de nip/tuck bajo mininova.

primero lo primero, mininova.org

y aunque este a su entrada tiene una lista de los torrents mas populares, igual vamos a usar la barra de busqueda.

que genera este set de resultados (notese que esta organizado por cantidad de seeders, mientras mas, mejor):

… y mas importantemente, ojo a los iconitos azules en el centro (al lado de “Size”), que tienen la cantidad de comentarios por torrent, estos sirven para saber si el archivo en cuestión esta bueno o malo en calidad, o si este es un virus, etc. los comentarios por lo general se ven asi:

volviendo a la lista de resultados, un click en la flecha verde al lado del nombre y listo! descargamos el archivo .torrent

a su ves, este archivo lo abrimos con nuestro cliente ahora para iniciar la descarga

y este solito arranca su descarga!

phew! por igual, entre amigos si encuentras un torrent util que descargue un archivo que quieras compartir, en ves de andar enviando 600gb de esa ultima peli que viste y quieres compartir, tan solo tienes que poner el archivo .torrent en un email; que este despues se le puede usar para descargar la temporada, serie de canciones, etc.

Notese que es normal que el cliente se vuelva seeder una vez tengas todo el archivo en tu disco duro, si tienes problemas de ancho de banda, recomiendo irlos sacando de la lista, pero técnicamente es mejor para todos no hacerlo.

Concluye

De todos modos, que quede dicho que, en su mejor practica, uno deberia de comprar antes que descargar (sin mencionar que la gran mayoria de descargas de seguro es ilegal y te puede meter en problemas).

Bueno, tras arreglar la camara de Paola Suarez que “aparecio” llena de arena y no abria el lente bien, me inspire a hacer algo con mi camara digital vieja cuyo lente no enfocaba muy bien por eso de su uso y desgaste (para aquellos que conocen esta Olympus… estoy hablando de “la papita”).

Basicamente el proyecto fue abrir la camara para quitar el filtro infrarojo, y con algo que me quedo de mis clases de fisica, reemplace el filtro con un pedazo de rollo velado (que filtra la luz visible, actua como proteccion y permite pasar la luz infraroja).

Resultado? una camara que puede ver en la noche sin iluminar! (sisi, yo se, como la de paris hilton)

ahi van fotos:

Este… el filtro infrarojo, aca no se ve muy claro pero es un filtro polar asi que si se ve de angulo refleja color verde o rojo

Y aca como quedo despues, notese el pedazo de cinta pegante para sostener el rollo velado

visible

infrarojo

visible

infrarojo

visible

infrarojo

como pueden ver, el filtro no es perfecto y todavia agarra un poco de rojo visible

y esta, hasta la fecha mi mejor foto de frente

de hecho la camara agarra la luz del control remoto (fotos despues), asi que solo hace falta una lampara infraroja y quedo hecho para poder tomar fotos en “cero” luz.

-mp