Cómo scrapear los usuarios de Twitter paso a paso
Una semana más por aquí andamos y hoy voy a contar cómo scrapear los usuarios de Twitter en 5 minutos. ¿Scrapear? ? ¿Ezo que es my friend? Scrapear los usuarios de Twitter en idioma castellano de toda la vida es extraer los id’s o usernames de los seguidores de una cuenta de Twitter.
Con este tutorial podremos sacar todos los usuarios de la cuenta de Twitter de nuestra competencia. Así que, vamos al lío!
Parte 1.- Cargar usuarios a scrapear
La primera parte de este tutorial es cargar los usuarios a scrapear en Twitter, esta acción la podemos realizar «a mano» o automatizarlo un poco… ¿A mano? ¿Automatizarlo? Así es, a mano es cargar la página de los followers a extraer e ir bajando con el ratón para que se vayan cargando los usuarios que luego vamos a extraer en la Parte 2.
O exista la opción que yo utilizo que es automatizar el scroll mediante la extensión iMacros, si no has oído hablar de iMacros puedes ver esta Review sobre iMacros.
Para la automatización del scroll, tenemos que instalar la extensión iMacros, os dejo los enlaces a la extensión, recomiendo utilizar la de Firefox ya que la de Chrome no va muy fina 😉
Descargar iMacros para Firefox
Ya instalada la extensión, nos descargamos este ficheros js y lo copiamos en la carpeta de Macros que se ha creado en la instalación de la extensión. Este fichero JavaScript es el siguiente:
var i =1;
var nScroll=3;
for(i = 1; i <= nScroll; i++) {
window.scrollTo(0, 10000);
}
Este fichero lo que hace es realizar scroll de 10.000 pixeles en vertical y repetimos el proceso tantas veces que queramos, cabe mencionar que cuanto más alto sea el número de veces de Scroll (variable nScroll) más veces realizará scroll y por tanto más usuarios se cargarán.
Parte 2.- Extraer users de Twitter
Visto ya cómo cargar los usuarios a scrapear, pasamos a la parte de cómo extraerlos. Para ello tenemos que descargar el addon Firebug de Mozilla Firefox:
Descargar Firebug para Firefox
Cuando ya tengamos instalado el firebug, pulsamos botón derecho en la ventana de los usuarios que queremos extraer y abrimos el Firebug:
Se nos abrirá la ventana de Firebug en el navegador, pero nosotros necesitamos la consola, para ello pulsamos en Consola:
Y copiamos el siguiente código para extraer todos los id’s de los usuarios de Twitter:
var usuarios = »;
var spans = document.querySelectorAll(‘.u-linkComplex-target’);
if (spans.length) {
for (var i = 0, l = spans.length; i < l; i++) {
usuarios += ‘\n’+spans[i].textContent;
}
}
console.log(usuarios);
Copiado el código en la consola, ejecutamos el script:
Y xim pum, ya tenemos todos los id’s de los usuarios de Twitter en el log de la consola de Firebug ya sólo queda copiar y guardarlos en un txt.
Esta es mi manera de extraer los usernames de cuentas de Twitter ‘semiautomáticamente’, si conoces cualquier otra forma, y quieres publicarlo te lo agradeceré yo y todos los lectores 🙂
Espero que os haya gustado el tutorial de hoy y si llega este tutorial a 100 comparticiones en redes sociales, realizaré otro tutorial de que te cagas ? muy pronto. Así que compartir my Friends! 🙂