Orígenes de la Inteligencia Artificial

Redes neuronales artificiales. Competencia comunicativa. U.A.N.L.
Capítulo 1. Orígenes.

Nacimiento.
Figura 1.1 - Asistentes a la conferencia en el Dartmouth College Figura 1.1 - Asistentes a la conferencia en el Dartmouth College Usualmente, al querer referirse al evento que dio comienzo a la inteligencia artificial, se suele mencionar el congreso/conferencia "A PROPOSAL FOR THE DARTMOUTH SUMMER RESEARCH PROJECT ON ARTIFICIAL INTELLIGENCE (August 31, 2015)", el cual se propuso con el fin de realizar una investigación de dos meses por un total de 10 hombres interesados en el estudio de ésta. Propuesta por John McCarthy (Dartmouth College), Marvin Minsky (Harvard University), Nathaniel Rochester (I.B.M. Corporation), Claude Shannon (Bell Telephone Laboratories), siendo organizada por el primero, John McCarthy y llevada a cabo en el Dartmouth College, en Hanover, New Hampshire. En este congreso se discutieron los problemas centrales de la inteligencia artificial hasta la fecha del evento, entre los que se encontraban:
Figura 1.1 - Asistentes a la conferencia en el Dartmouth College
Figura 1.1 - Asistentes a la conferencia en el Dartmouth College
Automatic Computers
Si una máquina puede realizar un trabajo, un calculador automático podría ser programado para simular dicha máquina.
How Can a Computer be Programmed to Use a Language
Ésta idea nunca fue precisamente bien formulada ni se tienen ejemplos en los que se haya realizado.
Neuron Nets
Cómo podría un conjunto de (hipotéticas) neuronas pudiera ser organizada para que éste pueda formar conceptos.
Theory of the Size of a Calculation
Si se nos da un problema bien formulado (uno en el que sea posible probar mecánicamente si la respuesta obtenida es correcta o no), una manera de llegar a una solución es intentar con diferentes respuestas en orden.
Self-Improvement
Probablemente, una verdadera máquina inteligente podrá realizar ciertas actividades que se puedan describir como de mejoramiento autónomo.
Abstractions
Un número de tipos de "abstracciones" pueden ser muy definidas así como otras veces, no tanto. Un intento directo de clasificar éstas y describir los métodos de las máquinas para formar abstracciones sensoriales y otro tipo de datos parecería valer la pena.
Randomness and Creativity
Una atractiva conjetura, pero aún incompleta, es la diferencia entre el pensamiento creativo y el pensamiento competente imaginativo reside en la inyección de algo de aleatoriedad. Aleatoriedad que deberá ser guiada por la intuición para ser eficiente.
(McCarthy, Minsky, Rochester, & Shannon, 1996)
Surgimiento de la idea.
Figura 1.4 – Walter PitsFigura 1.4 – Walter PitsFigura 1.3 - Warren McCuloch Figura 1.3 - Warren McCuloch Figura 1.2 - Alan Turing Figura 1.2 - Alan Turing En 1936 Alan Mathison Turing. Fue el primero en estudiar el cerebro como una forma de ver el mundo de la computación. Sin embargo, los primeros teóricos que concibieron los fundamentos de la computación neuronal fueron Warren McCulloch, un neurofisiólogo, y Walter Pitts, un matemático, quienes, en 1943, lanzaron una teoría acerca de la forma de trabajar de las neuronas (Un Cálculo Lógico de la Inminente Idea de la Actividad Nerviosa - Boletín de Matemática Biofísica 5: 115-133). Ellos modelaron una red neuronal simple mediante circuitos eléctricos, siendo el primer modelo neuronal el cual abrió el camino para los futuros modelos. Sin embargo, en muchos de los estudios en que refieren a este modelo, no se interpreta correctamente el sentido que quisieron dar originalmente McCulloch y Pitts, atribuyéndole características o funciones que no fueron descritas por sus autores y que en realidad no posee, o bien restándole importancia a la capacidad de procesamiento del modelo. Por su parte, el modelo de McCulloch y Pitts por sí mismo está volviendo a tomar importancia debido a que es uno de los pocos modelos digitales y que trabajan en tiempo discreto, a diferencia de la mayoría de los modelos actuales que son modelos analógicos, y debido a que para realizar implantaciones electrónicas o computacionales de las neuronas artificiales en la actualidad se utilizan sistemas digitales, resulta necesario realizar ciertas adaptaciones o aproximaciones numéricas a estos modelos neuronales al momento de implantarlos, lo que dificulta y hace imprecisa su implantación con respecto al comportamiento teórico esperado derivado del modelo. Es por esto que surge el interés por hacer una revisión del modelo neuronal propuesto por McCulloch y Pitts, con la finalidad de hacer una correcta interpretación del modelo para establecer claramente sus alcances y limitaciones, para que se puedan tomar las características de este modelo como punto de partida para desarrollar nuevos modelos neuronales discretos que tengan mayor capacidad de procesamiento y que puedan ser fácilmente implantados digitalmente.
Figura 1.4 – Walter Pits
Figura 1.4 – Walter Pits
Figura 1.3 - Warren McCuloch
Figura 1.3 - Warren McCuloch
Figura 1.2 - Alan Turing
Figura 1.2 - Alan Turing
La importancia de este artículo y la influencia que ha ejercido en el campo de las redes neuronales en inconmensurable. Es un intento por explicar que es lo que hace el sistema nervioso, a partir de un conjunto de primitivos elementos de cómputo que son abstracciones de las propiedades de las neuronas y de sus conexiones, con base en el conocimiento fisiológico y psicológico que se tenía de ellas en 1943, año en que fue publicado.
En este artículo, McCulloch y Pitts toman como objeto de estudio al cómputo realizado por las neuronas; es decir; no se ocupan de los aspectos fisiológicos y morfológicos de las neuronas, a pesar de que McCulloch tiene una serie de artículos donde estudia los aspectos fisiológicos de las neuronas, sino que se abocan a estudiar las características y capacidades computacionales del modelo que proponen, caracterizándolo como un dispositivo lógico; es decir, el área en la que se desarrolla este artículo es la lógica. De esta forma, el modelo neuronal es planteado a través de un modelo matemático. Esto se puede verificar fácilmente a partir de las referencias que ocupan, las cuales todas caen dentro de la lógica matemática. Esto trae como consecuencia que el lenguaje que ocupan para las descripciones de las características de su neurona sea totalmente matemático, siguiendo un gran formalismo en sus demostraciones y con una notación poco común, lo que hace muy complejo el entender los planteamientos del artículo.
McCulloch y Pitts parten de cinco consideraciones acerca del comportamiento de las neuronas. Dichas consideraciones las plantean de la siguiente forma:
1.- La actividad neuronal es un proceso "todo o nada".
2. Un cierto número fijo de sinapsis debe ser excitado dentro de un período de adición latente en orden de excitar una neurona en cualquier intervalo de tiempo, y este número es independiente de la actividad previa y la posición de la neurona.
3. El único retardo significativo dentro del sistema es el retardo sináptico.
4. La actividad de cualquier sinapsis inhibitoria previene absolutamente la excitación de la neurona en ese intervalo de tiempo.
5. La estructura de la red no cambia con el tiempo.
Estas consideraciones describen a lo que se ha conocido como la neurona "McCulloch-Pitts".
De las consideraciones mostradas podemos extraer y resaltar lo siguiente. La neurona McCullochPitts es un dispositivo binario, es decir, solo puede estar en uno de dos posibles estados. Cada neurona puede recibir entradas de sinapsis excitadoras, las cuales tienen todas un mismo peso. También pueden recibir entradas de sinapsis inhibitorias, cuya acción es absoluta; es decir, si la sinapsis inhibitoria está activa, la neurona no puede encender. Hay un lapso de tiempo dado fijo para la integración de las entradas sinápticas, basado en el retardo sináptico observado; esto le da a la neurona su carácter de trabajo en tiempo discreto.

(R., Herrera, Pérez, & Padrón)



Aprendizaje.
Figura 1.6 - Karl LashleyFigura 1.6 - Karl LashleyFigura 1.5 - Donald Hebb Figura 1.5 - Donald Hebb En 1949, Donald Hebb fue el primero en explicar los procesos del aprendizaje (que es el elemento básico de la inteligencia humana) desde un punto de vista psicológico, desarrollando una regla de cómo se manifestaba el aprendizaje. Aun hoy, este es el fundamento de la mayoría de las funciones de aprendizaje que pueden hallarse en una red neuronal. Su idea fue que el aprendizaje ocurría cuando ciertos cambios en una neurona eran activados. También intentó encontrar semejanzas entre el aprendizaje y la actividad nerviosa. Los trabajos de Hebb formaron las bases de la Teoría de las Redes Neuronales.
Figura 1.6 - Karl Lashley
Figura 1.6 - Karl Lashley
Figura 1.5 - Donald Hebb
Figura 1.5 - Donald Hebb
En 1950, Karl Lashley, en sus series de ensayos, encontró que la información no era almacenada en forma centralizada en el cerebro sino que era distribuida encima de él. Lashley había dividido sus investigaciones en dos teorías. La principal "acción en masa" postulaba que las acciones del cerebro y su cortex funcionaban como un único ente holístico en muchos tipos de aprendizaje. El principio de "equipotencialidad" postulaba que si ciertas partes del cerebro eran dañadas, otras partes del cerebro podrían ocupar el rol de las partes dañadas, reconfigurar la estructura cerebral para reemplazar las funciones de las que se encargaban las estructuras cerebrales dañadas.
Figura 1.7 - Paul WerbosFigura 1.7 - Paul Werbos1974 - Paul Werbos. Desarrolló la idea básica del algoritmo de aprendizaje de propagación hacia atrás (backpropagation); cuyo significado quedó definitivamente aclarado en 1985.
Figura 1.7 - Paul Werbos
Figura 1.7 - Paul Werbos
La propagación hacia atrás es ahora la herramienta más usada en el campo de las redes neuronales artificiales. Su núcleo es el método que calcula derivadas exacta y eficientemente en cualquier gran sistema elaborado por subsistemas elementales, o también por cálculos que sean representados por funciones diferenciales ya conocidas. Así, "backpropagation" tiene un mar inmenso de aplicaciones que no envuelven a las redes neuronales como tales.
En 1986, David Rumelhart y G. Hinton redescubrieron el algoritmo de aprendizaje de propagación hacia atrás (backpropagation). A partir de 1986, el panorama fue alentador con respecto a las investigaciones y el desarrollo de las redes neuronales. En la actualidad, son numerosos los trabajos que se realizan y publican cada año, las aplicaciones nuevas que surgen (sobre todo en el área de control) y las empresas que lanzan al mercado productos nuevos, tanto hardware como software (sobre todo para simulación).
(Widrow & Lehr, 1990)
Perceptron: la red neuronal más antigua.
Figura 1.8 - Rosenblatt's a-PerceptronFigura 1.8 - Rosenblatt's a-PerceptronEn 1957, Frank Rosenblatt comenzó el desarrollo del Perceptron. Esta es la red neuronal más antigua; utilizándose hoy en día para aplicación como identificador de patrones. Este modelo era capaz de generalizar, es decir, después de haber aprendido una serie de patrones podía reconocer otros similares, aunque no se le hubiesen presentado en el entrenamiento. Sin embargo, tenía una serie de limitaciones, por ejemplo, su incapacidad para resolver el problema de la función OR-exclusiva y, en general, era incapaz de clasificar clases no separables linealmente.
Figura 1.8 - Rosenblatt's a-Perceptron
Figura 1.8 - Rosenblatt's a-Perceptron
1959 - Frank Rosenblatt: Principios de Neurodinámica. En este libro confirmó que, bajo ciertas condiciones, el aprendizaje del Perceptron convergía hacia un estado finito (Teorema de Convergencia del Perceptron).
(Widrow & Lehr, 1990)
ADALINE y MADALINE.
Figura 1.9 - Adaptive linear element (Adaline).Figura 1.9 - Adaptive linear element (Adaline). En 1959, Bernard Widrow y Marcian Hoff de la universidad de Stanford desarrollaron un modelo llamado "ADALINE" y "MADALINE". ADALINE proviene de ADAptive LINear Element y MADALINE de Multiple ADAptive LINear Element (Many Adalines).
Figura 1.9 - Adaptive linear element (Adaline).
Figura 1.9 - Adaptive linear element (Adaline).
ADALINE fue desarrollado para el reconocimiento de patrones binarios, por ejemplo predecir el siguiente bit en una línea telefónica. En la figura 1 podemos observar la representación de una ADALINE y su analogía con una Neurona.


ADALINE funciona tomando la suma de los pesos de las entradas y produce una salida con 0 o 1 dependiendo si pasa o no un umbral, esto haciendo analogía al funcionamiento de una neurona que se dispara si la actividad total procedente de las conexiones con las otras neuronas sobrepasa un nivel.
Varias ADALINE pueden ser organizadas en capas de tal manera que se obtengan grandes arquitecturas formando una red MADALINE la cual produce funciones más complicadas.
MADALINE fue la primera red neuronal aplicada a un problema real, se usó como un filtro para eliminar el eco en las líneas telefónicas.
(Widrow & Lehr, 1990)
"Muerte abrupta"
En el año 1969 casi se produjo la "muerte abrupta" de las Redes Neuronales; ya que Marvin Minsky y Seymour Papert probaron (matemáticamente) que el Perceptron no era capaz de resolver problemas relativamente fáciles, tales como el aprendizaje de una función no-lineal. Esto demostró que el Perceptron era muy débil, dado que las funciones no-lineales son extensamente empleadas en computación y en los problemas del mundo real.
Esto fue publicado en su libro "Perceptrons: An introduction to Computational Geometry", el primer estudio sistemático del paralelismo en la computación, el cual se ha mantenido como un clásico en el umbral de las redes autómatas por casi dos décadas. Marcó un giro histórico en la inteligencia artificial.
La investigación sobre la inteligencia artificial, la cual se concentró en programar una gran cantidad de computadoras Neumann, regresa a la idea de que la inteligencia puede surgir de la actividad de redes de entidades similares a las neuronas. El libro de Misky y Papert fue, como se mencionó, el primer ejemplo de un análisis matemático suficientemente profundo para demostrar las limitaciones exactas de una clase de máquinas computacionales que pudieran ser seriamente consideradas como modelos del cerebro. Ahora los nuevos desarrollos en herramientas matemáticas, el reciente interés de los físicos por la teoría de la materia desordenada, las nuevas ideas y los modelos psicológicos de cómo trabaja el cerebro, y la evolución de computadoras cada vez más veloces que pueden simular redes autómatas le dio al libro una nueva importancia.
(Minsky & Papert, 1987)
TRA: Teoría de resonancia adaptada.
En 1977, Stephen Grossberg: Teoría de Resonancia Adaptada (TRA). La Teoría de Resonancia Adaptada es una arquitectura de red que se diferencia de todas las demás previamente inventadas. La misma simula otras habilidades del cerebro: memoria a largo y corto plazo.
El modelo ART (por sus siglas en inglés, Adaptive Resonance Theory) soluciona el dilema de la estabilidad y plasticidad del aprendizaje mediante un mecanismo de realimentación entre las neuronas competitivas de la capa de salida.
Cuando a la red se le presenta un patrón de entrada este se hace resonar con los prototipos de las categorías conocidas por la red, si el patrón entra en resonancia con alguna clase entonces es asociado a esta y el centro de cluster es desplazado ligeramente para adaptarse mejor al nuevo patrón que le ha sido asignado. En caso contrario, si el patrón no entra en resonancia con ninguna clase, pueden suceder dos cosas: si la red posee una capa de salida estática entrará en saturación pues no puede crear una nueva clase para el patrón presentado pero tampoco puede asignarlo a una clase existente, si la red posee una capa de salida dinámica se creará una nueva clase para dicho patrón, esto no afectará a las clases ya existentes.
(Matich, 2001)
En las redes competitivas es necesario que la tasa o ritmo de aprendizaje vaya decreciendo gradualmente hasta hacerse igual a cero para garantizar la estabilidad de la red, pues en caso contrario puede ocurrir que el grupo que se va asignando a un mismo patrón de entrada vaya cambiando indefinidamente en etapas sucesivas. Sin embargo, esta estrategia conduce a que cuando la tasa de aprendizaje llegue a ser pequeña la red no se adapta bien a los nuevos patrones de entrada, es decir, va perdiendo plasticidad (capacidad de reaccionar para adaptarse a nuevos patrones). Esto conduce al dilema de estabilidad-plasticidad planteado por Grossberg. Los modelos de redes neuronales ART permiten formar grupos o categorías a partir de una secuencia de patrones de entrada no etiquetados, es decir, que no conocemos la clase a la que pertenecen, y además resuelven el dilema de la estabilidad-plasticidad de Grossberg, pues la red permite adaptarse a nuevos patrones evitando que su información sea aniquilada por la información de todos los patrones de entrenamiento anteriormente utilizados cuando trata de buscar la estabilidad del proceso. Estas redes van a realizar la agrupación según la similitud de los patrones de entrada, de manera que los patrones que constituyan un mismo grupo sean similares entre sí. Asimismo, tampoco se tiene que establecer a priori el número de grupos que forman los patrones de entrada, ya que la propia red se encargará de determinarlos siguiendo un proceso que se controla mediante un parámetro de vigilancia.

Renacimiento.
En 1985, John Hopfield provocó el renacimiento de las redes neuronales con su libro: "Computación neuronal de decisiones en problemas de optimización." Elaboró un modelo de red neuronal auto-asociativa, aplicando los principios de estabilidad desarrollados por Grossberg en la Teoría de Resonancia Adaptiva.

(Matich, 2001)


References
Matich, D. J. (Marzo de 2001). Redes Neuronales: Conceptos básicos y aplicaciones. Rosario. Recuperado el Septiembre de 2015, de http://www.frro.utn.edu.ar/repositorio/catedras/quimica/5_anio/orientadora1/monograias/matich-redesneuronales.pdf
McCarthy, J., Minsky, M. L., Rochester, N., & Shannon, C. E. (3 de Abril de 1996). A PROPOSAL FOR THE DARTMOUTH SUMMER RESEARCH PROJECT ON ARTIFICIAL INTELLIGENCE (Traducido). Recuperado el 2 de Septiembre de 2015, de Formal Reasoning Group: http://www-formal.stanford.edu/jmc/history/dartmouth/dartmouth.html
Minsky, M., & Papert, S. (1987). Perceptrons, An Introduction to Computational Geometry. Diciembre: MIT.
R., P., Herrera, A., Pérez, J. L., & Padrón, A. (n.d.). El modelo neuronal de McCulloch y Pitts: Interpretación comparativa del modelo. Coyoacán, México D.F., México.
Widrow, B., & Lehr, M. (septiembre de 1990). 30 Years of Adaptive Neural Networks: Perceptron, Madaline and backpropagation. 78(9). (D. I. Garza, Trad.) Recuperado el 27 de septiembre de 2015, de http://www-isl.stanford.edu/~widrow/papers/j199030years.pdf


[Type text][Type text][Type text]
Redes Neuronales Artificiales. Competencia Comunicativa. U.A.N.L.


16 de Octubre del 2015Página 9