Cualquier otro interesado en participar, . . . → Read More: Primer encuentro de usuarios de R en Buenos Aires]]>

Los chips de ADN, tambien conocidos como micromatrices o microarrays, se han convertido en una herramienta de investigación médica y biológica de vanguardia. Sus aplicaciones más notables están relacionadas la investigación en Cancer, nuevas medicinas y mejorar alimentos a través del mejoramiento genético.

La Matemática y el Análisis de Datos, juegan un papel fundamental . . . → Read More: Análisis de Microarrays de ADN]]>

Los chips de ADN, tambien conocidos como micromatrices o microarrays, se han convertido en una herramienta de investigación médica y biológica de vanguardia. Sus aplicaciones más notables están relacionadas la investigación en Cancer, nuevas medicinas y mejorar alimentos a través del mejoramiento genético.

La Matemática y el Análisis de Datos, juegan un papel fundamental en el procesamientos de datos que arrojan los experimentos realizados con Microarrays. Los cuales enfrentan dos grandes desafíos:

1.1- Identificar el tratar el ruido en los datos.
1.2- Trabajar con data sets no tradicionales.

Con referencia al punto dos, en los estudios de Análisis de Datos tradicionales uno está acostumbrado a trabajar con set de datos con decenas de columnas y miles o millones de filas.
Por el contrario los data sets provenientes de exprimentos de Microarrays contienen miles de columnas y tan solo una pocas decenas de filas. De esta manera los modelos de clusterización tradicionales suelen no se tan exactos como se podría desear.

Hoy por hoy, Bioconductor, una plataforma para Bioinformática que corre bajo R, es una de las mejores herramientas y más difundidas para este tipo de análisis. Sin embargo quería comentarles dos alternativas, que parecen ser sumamente potentes para conseguir buenos resultados de clusterización:

2.1- Fractal Clustering:
- El Análisis Fractal es robusto para trabajar con data sets de gran tamaño, alta dimensionalidad y ruido.  Lo cual parece ser ideal para los puntos 1.1 y 2.1
- La idea detrás de la Clusterización Fractal es la de agrupar puntos tal que al agregar uno nuevo este no cambie radicalmente la Dimensión Fractal del Cluster en cuestión.
- Es posible caracterizar patrones genéticos actuando en diferentes escalas. Esta es una propiedad directamente relacionada con la “autosimilitud”, otra de las propiedades de la Geometría Fractal.

2.2 Fuzzy Logic
Los métodos más utilizados de clusterización asignan un elemento a cada cluster, sin embargo no brindan información sobre cual es la influencia de dicho punto en el cluster.
Por el contrario, el algoritmo de c-means, brinda un índice de pertenencia al cluster en lugar de hacerlo pertenecer completamente. Diferencia que puede ser fundamental en el estudio de expresión de genes en un experimento de micromatrices.

Tanto la Geometría Fractal como la Lógica Difusa, tienen aspectos en común y existe algorítmos híbridos entre ambas disciplinas, como ser las Dimensiones Fractales Difusas (Fuzzy Fractal Dimensions, FFD)

Estos algoritmos híbridos entre ambas tecnologías pueden marcar una diferencia importante y grandes avances en el Análisis de Datos de Microarrays.

Theoretical background

The Information Theory formulated by Claude Shannon has become a solid ground for data analysis and the development of predictive and cluster models.

Research carried out by Dorian Pyle in this field allowed us to develop new algorithms that show a new way to approach data analysis, which among other things, allow . . . → Read More: Data Mining based on Information Theory]]>

Theoretical background

The Information Theory formulated by Claude Shannon has become a solid ground for data analysis and the development of predictive and cluster models.

Research carried out by Dorian Pyle in this field allowed us to develop new algorithms that show a new way to approach data analysis, which among other things, allow us to know the quantity of free noise  information that contains the data base, even before trying to create a model.

Once they have the capability of measuring information it is possible to obtain other advantages. For instance, if it is known that the data have n bits of information, then it is possible to have an objective reference to evaluate the models. It is also possible to design a simple and efficient algorithm which could select the best variables to develop a model.

Data Mining looks for and reveals the relationships and patterns which contain data known as information. The Information Theory, therefore, becomes an ideal tool to create algorithms that may treat massive volumes of data efficiently.

Thanks to Marcelo Ferreyra from Dataxplore, Chief Scientist Application Developer of Powerhouse, Data Mining platform based on Information Theory.

> quakes

En este post, vamos a trabajar con gráficos de los paquetes ggplot2 y lattice, asi que si . . . → Read More: Gráficos Básicos en R: Dataset sobre terremotos en Fiji]]> En el paquete de datasets de R 2.12, existe uno llamado “quakes”. El mismo registra una serie de eventos sísmicos en Fiji.
Para chequear que lo tienen instalado simplemente desde consola tipeen el nombre del dataset:

> quakes

En este post, vamos a trabajar con gráficos de los paquetes ggplot2 y lattice, asi que si no los tienen instalados:

>install.packages(“lattice”)
>install.packages(“ggplot2″)

Ahi vemos el dataset completo, 1000 registros. Para obtener mayores detalles sobre el mismo:

> help(quakes)

Veamos que variables se encuentran en el dataset:

> names(quakes)

Vemos: lat (latitud), long (longitud), depth (profundidad), mag (magnitud), stations (estaciones que los reportaron)

Empecemos visualizando un poco nuestro set de datos, para ello creemos un histograma de la magnitud de los eventos sismicos en las islas Fiji.

- Cargamos la librería “lattice”
>library(lattice)

- Graficamos el histograma
> histogram(~mag, data=quakes, col=”blue”)
~variable_a_plotear, data=nuestro_set_de_datos, col=”color_que_deseamos”)
Vemos que la magnitud que más se presento fué de 4.5 grados

- Grafiquemos ahora la magnitud en función de la profundidad en las que se presentaron:
Cargamos el paquete “ggplot2″
>library(ggplot2)

Ahora sí graficamos:
> qplot(mag,depth,data=quaks)

Interesante observar que los sismos de más alto grado, se han producido a profundides más bajas

- Vamos a hacer un gráfico con la función DENSIDAD:
para ello, creamos una variable “d” a la que le asignamos la data que deseamos calcularle la densidad:
a la izquierda del signo $ por supuesto el dataset con el que estamos trabajando, y a la derecha la variable que estamos calculando su densidad. Por ultimo, graficamos la nueva variable “d”

> d <- density(quakes$mag)
> plot(d)

Bueno, con esto tenemos algunos comandos básicos de los paquetes ggplot2 y lattice, para graficar de manera sencilla varios estadísticos útiles para visualizar nuestra data.

Como ejercicio, pueden probar graficar la cantidad de estaciones que detectaron los sismos en función de su magnitud.

En este ejemplo, trabajaré con la misma base del post anterior, ALL.rda (hacer click aquí)

Antes de convertirlo a CSV, es importante asegurarse que el . . . → Read More: R Basic Tip: Convertir archivos rda a csv]]>
Si bien R cuenta con varias herramientas para visualizar y trabajar con archivos nativos “rda” a veces es cómodo exportar la base a un csv y trabajarlo con Excel.

En este ejemplo, trabajaré con la misma base del post anterior, ALL.rda (hacer click aquí)

Antes de convertirlo a CSV, es importante asegurarse que el dataset se encuentra cargado en memoria, y en el entorno adecuado.

Supongamos que el dataset ALL.rda se encuentra alojado en el directorio “/data” : (en Linux)

> setwd(“/data”)
Con esto seteamos el entorno adecuado donde se encuentra el archivo rda

> library(“ALL”)

> data(“ALL”)
Cargamos el dataset en memoria y en nuestro entorno “/data”

> ls()
[1] “ALL”
Comprobamos que ALL.rda está en memoria y en nuestro entorno.

> write.csv(ALL, file = “ALL.csv”)
Finalmente convertimos el dataset ALL.dar a ALL.csv
(notar que no es necesario ponerle la extención rda al dataset en nuestra sintaxys.
Con esto obtenemos el archivo:  /data/ALL.csv.

rda 2 csv

Más de una vez se presentan problemas trabajando con datasets que no se encuentran en el “entorno” (environment) adecuado. A continuación les dejo algunos comandos que los ayudarán a chequear y cambiar entornos de manera sencilla.

(1) ls() Nos muestra lo que tenemos cargado en memoria en nuestro entorno en este momento. Si . . . → Read More: R Basic Tip: Trabajando con entornos en R]]>

Más de una vez se presentan problemas trabajando con datasets que no se encuentran en el “entorno” (environment) adecuado.
A continuación les dejo algunos comandos que los ayudarán a chequear y cambiar entornos de manera sencilla.

(1) ls()
Nos muestra lo que tenemos cargado en memoria en nuestro entorno en este momento.
Si acabamos de correr R, seguramente no devolverá nada.

(2) rm(list=ls())
Nos permite limpiar nuestro entorno y comenzar de cero nuevamente

(3) getwd()
Nos muestra nuestro actual entorno

(4) setwd()

Nos permite setear un entorno nuevo, por ejemplo:
> setwd(“/data”)

……………………………………..

Veamos un ejemplo: (se verán los pasos en el screenshot a continuación)

Mi intención es realizar una exploración veloz de un dataset extraído de bioconductor.org, específicamente una base de Leucemia llamada ALL. En lugar de instalar el paquete completo: “http://www.bioconductor.org/help/bioc-views/release/data/experiment/html/ALL.html“, decidí bajar el tar.gz que se encuentra en la misma página.
Una vez desempaquedo he movido ../data/ALL.rda (que es el dataset en cuestión) a mi directorio /data donde trabajo con datasets temporales. (Aclaron que estoy  trabajando sobre un sistema operativo Linux)

La secuencia que muestra el screenshot a contiuación va desde listar lo que tengo en memoria, hasta cargar /data como nuevo entorno, y trabajar con la base ALL.

Con la instalación básica de R, la plataforma nos brinda toda una serie de Datasets con los cuales podemos trabajar para perfeccionar nuestras técnicas.

(1) Viendo los Datasets disponibles:

>library(help="datasets")

Nos muestra los sets de datos ya existentes, y una breve descripción del mismo. Por ejemplo uno de ellos es CO2 (Carbon Dioxide . . . → Read More: R Basic Tip: Trabajando con Datasets]]>

Con la instalación básica de R, la plataforma nos brinda toda una serie de Datasets con los cuales podemos trabajar para perfeccionar nuestras técnicas.

(1) Viendo los Datasets disponibles:

>library(help="datasets")

Nos muestra los sets de datos ya existentes, y una breve descripción del mismo.
Por ejemplo uno de ellos es CO2 (Carbon Dioxide Uptake in Grass Plants)

(2) Obteniendo más información sobre el Dataset elegido:

> help(CO2)

(3) Veamos que variables componen el Dataset:

> names (CO2)

(4) Vamos a ver más detalles aún y unos breves índices estadísticos:

> summary (CO2)

(5) Carguemos el Dataset en memoria

> data (CO2)

(6) Hagamos un breve ejemplo graficando dos variables con qplot. Recordar que el Dataset debe estar cargado en memoria como se vio en el paso anterior. Para este ejemplo debemos cargar tambien la libreria ggplot2 (instalarla de no tenerla)

> p <- qplot(Plant, uptake, data = CO2)
> print(p)

En los proximos post iré subiendo con más detalle como trabajar con gráficos, solo quería mostrarles un ejemplo de como cargar los Datasets y trabajar con ellos.

Pueden descargar el mini-script para luego ejectuar el gráfico final:

http://i314.com.ar/scripts/datasets.R

Para ejecutarlo, desde consola:

# R CMD BATCH datasets.R

En este tip, veremos alguas funciones para trabajar con archivos CSV en R, estos comandos será sumamente útiles cuando en el futuro hagamos scripts para crear diferentes gráficos en R.

(1) Vamos a abrir nuestro archivo CSV, que consta de los registros de las acciones de IBM entre el 1/09/10 y el 21/12/10. . . . → Read More: R Basic Tip: Archivos CSV en R]]>

En este tip, veremos alguas funciones para trabajar con archivos CSV en R, estos comandos será sumamente útiles cuando en el futuro hagamos scripts para crear diferentes gráficos en R.

(1) Vamos a abrir nuestro archivo CSV, que consta de los registros de las acciones de IBM entre el 1/09/10 y el 21/12/10. Pueden bajarlo aquí. Este dataset tiene 7 variables (“Date”     “Open”     “High”     “Low”      “Close”    “Volume”   “AdjClose”) Recuerden que las variables son sensibles a las mayusculas.

> ibm_stocks <- read.csv(file=”/data/ibm_1-09-10_21-12-10.csv”,head=TRUE,sep=”,”)

- en mi PC, el archivo csv de nombre: ibm_1-09-10_21-12-10.csv esta ubicado en el directorio
/data , ustedes deberán poner su PATH correcto dependiendo donde tengan guardado su archivo.

- head=TRUE hace referencia que en la primera FILA, se encuentra el nombre de las variables

- sep=”,” , implica que las variables del CSV están separadas por comas, podrían estarlo por punto y coma, tabs o espacios.

- el contenido del archivo CSV se lo asignamos a la variable ibm_stocks

(2) Comprobamos y vemos el contenido de la variable ibm_stocks

> ibm_stocks

Aquí se desplegará el dataset completo, con sus columnas y un índice.

(3) Para obtener los primeros estadísticos y datos exploratorios podemos utilizar la función summary:

> summary(ibm_stocks)

(4) Vamos a chequear la cantidad de variables y sus nombres en el dataset:

> names(ibm_stocks)

(5) Y una función MUY importante que utilizaremos en nuestros scripts para generar gráficos, es la de selección de columnas dentro del dataset.
Para ello invocamos el nombre de la variable y separamos con un signo $ la columna que nos interesa, por ejemplo:

> ibm_stocks$close