Buscar, sugerir y personalizar

El mercado de Enterprise Search se ha transformado, ha cambiado definitivamente. El proyecto de buscador corporativo como lo conocíamos ha dejado de ser un proyecto estratégicamente clave dentro de la empresa, ahora la estrategia de búsqueda, analítica y procesado de datos corporativos se ha convertido en el caballo de batalla de toda organización que quiera ser competitiva. Lo importante no es ofrecer una pagina con 10 resultados, ahora se trata de empujar el contenido a los clientes y empleados según sus intereses, bien sea a través de un cajón de texto libre o bien sea según la navegación, perfil, departamento, histórico de compras, grupo de contactos, etc.. del usuario en cuestión.

Los proyectos de búsqueda son ahora mucho más especializados. El foco de los proyectos ha dejado de ser la tecnología, ahora todo se enfoca en la experiencia de usuario y en generar valor bottom-line (incrementar ventas, conversión campañas, minimizar costes atención usuario, etc..). Los que nos dedicamos a este mundillo de la búsqueda y procesado de datos estamos de enhorabuena, entramos en una fase llena de nuevos retos y oportunidades:

- El concepto Enterprise Search está caduco. El reto de las empresas ya no es poder buscar en sus múltiples repositorios de información, sino procesar datos para que sean más encontrables, accesibles, contextualizables y personalizables a su negocio y sus clientes.

- El mercado de búsqueda Empresarial se ha fragmentado. Por un lado los big players (Microsoft Fast, Autonomy, IBM, etc..) se están posicionando fuertes en proyectos Enterprise de plataforma integral de datos (ECM + DCM+ Business Intelligence + Search…) y por otro lado vemos mucha diversificación y especialización de otras empresas con productos verticales para eCommerce, Medios, eDiscovery, etc, y horizontales como Customer Service, sistemas de recomendación, personalización, etc.

- Como consecuencia de esta fragmentación de mercado Gartner ha decidido eliminar el Magic Quadrant para Enterprise Search y ahora produce un simple MarketScope. Esto ha dado mucho que hablar, recomiendo la lectura de este debate en el grupo de LinkedIn de Enterprise Search.

- La tecnología ha dejado de ser un diferenciador en los proyectos de búsqueda. La gran mayoría de fabricantes ofrecen las mismas funcionalidades en sus productos, los cuales son ya casi una “commodity”. El factor de éxito de un proyecto de búsqueda no es la tecnología sino los conocimientos del integrador y su capacidad para sacar el máximo rendimiento al producto y saber adaptarlo al negocio (datos corporativos vs expectativas usuarios).

“ The other side of the argument was that companies are no longer will to pay big money for key word retrieval.” Stephen Arnold, Beyond Search, “Enterpire Search: Baloney Six Ways, like Herring”

-Las empresas ya no están dispuestas en invertir entre 200.000 y 500.000€ en implantar un buscador corporativo para que devuelva un listado de 10 resultados. Las tres grandes empresas en este área (Microsoft Fast, Autonomy y Endeca) ya lo han notado en sus cuentas de resultados y buscan nuevos nichos.

- La irrupción de tecnología de búsqueda Open Source ha sido espectacular, una autentica revolución, y ha actuado como un gran catalizador de cambios en el mercado de ES. La estabilidad, madurez y adaptabilidad de esta tecnología ha hecho que muchas empresas se hayan decantado por sustituir su actual plataforma de búsqueda sobre software comercial por soluciones libres como Lucene/Solr (The Guardian, Biblioteca Nacional, etc).

- Por otro lado, la diversificación del mercado ha propiciado una nueva ola de productos Open Source empaquetizados y especializados como LucidWorks Enterprise, SearchBroker, etc.

- Open Source Search no es futuro, sino presente. Analistas como IDC así lo advierten. La propuesta de valor de soluciones abiertas de búsqueda son principalmente “ rapid time-to-market, high-level functionality, flexibility and customization, low entry-level cost”. Lo curioso es que no es una cuestión puramente económica: las empresas no solamente están cansadas de incurrir en gastos de licencias, sino que demandan transparencia, escalabilidad y una comunidad con la cual compartir experiencias para adaptar dicho sistema a sus necesidades.

En el siguiente post de la mutación del Enterprise Seacrh hablaremos de la ubicuidad del buscador dentro de la empresa, y de los proyectos en los que se emplea.

Post publicado en colbenson.es.

Borja Ramirez

Via este post del blog Jeff’s Search Engine Caffe doy con la presentación de Jeff Dean de Google en el pasado WSDM 2009 (Web Search & Data Mining) celebrado en Barcelona. Es muy técnica, habla mucho de como ha crecido Google en infraestructura desde el 1999 hasta el 2009. Habla de arquitectura de índices (docs + queries), encoding, sistemas de caché, crawling vs indexing, etc..Para todos los lectores “técnicos” en búsqueda & Information Retrieval recomiendo la lectura.

Googles keynote WSDN09

Como nota final, resaltaría tres de los challenges o retos que Jeff resalta:

1) Continuously improving translation quality & large-scale systems work to deal with larger and more
complex language models.

2) Building retrieval systems that efficiently deal with ACLs that vary widely in size

3) algorithms/techniques for improved extraction of structured information from unstructured/semi-structured sources

Podeis ver el video completo de la presentación desde aquí.

Os suena todo esto verdad? Nosotros desde Colbenson, estamos trabajando muy duro en el punto 3 de extracción de entidades (el punto dos de gestionar la seguridad de los documentos ya lo controlamos gracias a la tecnología IDOL Server de Autonomy :)). El futuro de la búsqueda pasa por Exploratory Search el cual se respalda en entidades extraidas de información no estructurada.

Borja Ramirez

Esta semana, tras más de un año desde la adquisición de FAST, Microsoft empieza a enseñar sus cartas en el área Enterprise Search. Muchos de nosotros nos preguntábamos como iban a posicionarse en el mercado, como iban a integrar la gama de productos FAST sobre tecnología Linux, como diferenciarse de su actual solución de búsqueda Sharepoint, etc…Pues bien, de momento Microsoft ha anunciado que va a hacer un release de dos soluciones de búsqueda “low-cost”. Es decir, Microsoft se mete de lleno en la pelea de gallinero contra el GSA de Google, ambos productos por debajo de los 2.000€ (con sus limitaciones en numero de documentos, seguridad, etc..). Aun queda por saber la propuesta de Microsoft para proyectos corporativos de infraestructura de acceso y procesado de contenidos.

Con este comunicado, es evidente la segmentación en el area de Enterprise Search:

- “Low Cost” Enterprise Search: Site Search & (limited) intranet search. Este mercado ofrece respuestas a las empresas que requieren poner un cajón de búsqueda en su sitio Web o incluso en su Intranet (behind-the-firewall search), aunque con evidentes limitaciones, como la disponibilidad de seguridad no-mapeada. En este campo juegan Google GSA, Microsoft Search Server, Autonomy IDOL Lite o Ultraseek, soluciones Open Source como Lucene o SOLR, etc…

- Enterprise Search & Content Processing: Aquí la propuesta es diferente, no solo se trata de búsqueda, se trata de procesar contenidos, tratarlos, extraer entidades, analítica de texto, etc…como solución global de acceso a contenidos dentro de una empresa. También permiten a las empresas auditar sus contenidos, como las soluciones de eDiscovery, soluciones de almacenamiento y minería de datos, acceso a contenidos multimedia (audio & video), clusterización, etc..Los players en este campo son Autonomy, Vivisimo, Endeca, Exalead, etc… Suponemos que Microsoft también se posicionará en este campo una vez integre el software noruego que compró el año pasado.

Continuar leyendo…

Borja Ramirez

Muchos de vosotros (clientes, lectores, compañeros, etc) me preguntáis a menudo acerca de fuentes de información, tales como foros de debate, blogs y demás sobre búsqueda empresarial. Me acabo de encontrar con un post de uno que suelo seguir en esta materia hablando de esto precisamente, y me he animado a ello:

Foros & Grupos (funcionales y técnicos):

- El grupo de Yahoo Search_Dev es un foro bastante dinámico. Los posts suelen ser bastante técnicos pero  recomiendo su seguimiento, puesto que siempre surge algo interesante.  Una de las ventajas es que no es muy biased hacia ningun producto en concreto; es decir, existen posts tanto de GSA, como de Autonomy, Endeca, FAST y todos los demás fabricantes. Obviamente predominan más unos productos que otros, pero al igual que su penetración en el mercado. De hecho, existe otro grupo Yahoo dedicado exclusivamente a tecnologia Autonomy. Uno de los moderadores de este foro es Miles Kehoe.

- Grupo IT Tool Box dispone también foros técnicos de Autonomy , Sharepoint, Opentext, etc.. los cuales está moderados por gente con mucha experiencia en este mundillo, algunos de ellos conocidos nuestros desde nuestros primeros pasos allá por el 2003.

- Grupo LinkedIn Enterprise Search Professionals para los que esteis conectados en esta cada dia más popular red social profesional. Alli nos podreis encontrar a algunos de nosotros.

Blogs de interés:

- Uno de los activos es el blog Steven Arnold Beyond Search en el que habla continuamente de todos los fabricantes en este nicho de busqueda dentro de la empresa o como la define el search-behind-the-firewall.

- Otra fuente interesante es CMS Watch, donde analizan el mercado, comercializan infomres, etc..

- Entreprise Search Practice Blog de Gilbane Group (analistas de mercado al igual que CMS, Forrester, Gartner, etc..), pero especializados en este area tecnologico en particular.

- El blog de NIE no es muy activo pero merece la pena. Recomiendo los newsletters sobre Enterprise Search de la misma empresa New Idea Engineering.

- The Nosiy Channel tambien es un blog que merece la pena seguir de cerca.

- El blog oficial de Google Enterprise lo podeis encontrar aqui. Habla bastante sobre otros temas como Google Docs y otras apps, pero de vez en cuando tratan el tema de enterprise search. Sinceramente me sorprende de Google, que no apuesten de manera más agresiva en marketing y desarrollo prodcuto del GSA.

- MSN tambien toca temas de buscadores de empresa en su blog oficial.

- Aqui teneis el blog de otro fabricante de software de busqueda empresaril Vivisimo, se llama Search Done Right.

- como vereis, lamentablemente, la seleccion de blogs que he realizado son en inglés. En castellano, podemos leer el blog de Colbenson ;-), un interesante blog acerca del mundillo de buscadores dentro de la empresa, donde asiduamente escribo.

Bueno, creo que estos son los principales, luego ha bastantes más, pero con una inclinación más hacia SEO y serach en la web, o search engine marketing.

Seguro que se me escapa alguno, osea que por favor comentadnos si conoceis algun blogs, informes, etc., que merezca la pena!

Borja Ramirez

Una presentación interesante por parte de Novak Spivack, CEO y fundador de Radar Networks, acerca de la web semantica.  Su discurso tiene tintes comerciales, en linea con el producto estrella de su start-up Twine, pero me parece interesante el debate que plantea: ¿es preferible ordenar y acceder a la información de manera semántica (en base a su significado) utilizando tagging y otras herramientas “sociales” tipo 2.0, o es mejor un approach probabilístico hacia el problema como otras tecnologias tipo Google o Autonomy, tambien apoyadas por suspuesto por elementos de social ware?

Food for thought.

Nova Spivack at The Next Web Conference 2008 from Boris Veldhuijzen van Zanten on Vimeo.

Borja Ramirez

El pasado dia 30 de Septiembre se publicó el Magic Quadrant del 2008 para Information Access Technology.  Creo que es un informe bastante fiel a la realidad, lo cual ya es en si, todo un “statement” considerando lo oscuro que es el mercado de los analistas independientes y su relación con los fabricantes. Si os parece, sin ningun orden de prioridad, os resalto mis observaciones:

Continuar leyendo…

Angel Maldonado

El día 28 de Mayo Leslie Owens de Forrester  ha publicado un nuevo análisis del mercado de búsqueda empresarial. Esta vez creo que este informe si es verdaderamente útil.

Bien, el informe creo que es útil porque:

Pone atención en comprender las necesidades reales de cada proyecto con respecto a:

• Preguntémonos que contenidos incorporo: Hay que ser realistas en el volumen y tipologías que deseamos dar acceso, plantearse los motivos y razones detrás de incorporar cada repositorio y contenidos históricos. Aunque generalmente se tiende a incorporar toda la información interna ya que es imposible prever que pedazo de información puede ser útil hasta que se precisa, en algunas ocasiones es posible que todo no sea práctico, es algo que debe evaluarse para cada escenario.

Continuar leyendo…