In the past several years, Apache Hadoop has enjoyed considerable success due to its ability to scalably and reliably store and process vast quantities of data. HDFS and MapReduce are the two core components of this software, but the real power of Hadoop comes from the larger ecosystem of open source projects built on and around this core: projects like Apache Hive, Pig, Flume, Oozie, HBase, Avro, and more. In this talk, Todd will introduce CDH, Cloudera's entirely open source distribution that integrates all of these components in a single product, and explain why it is the easiest and most popular way to deploy Hadoop in critical enterprise environments world-wide.

Hortonworks is a new company that was founded around the engineering team from Yahoo that has been driving the majority of the work on Apache Hadoop for the last almost 6 years. Our mission is simple: To revolutionize and commoditize the storage and processing of big data via open source. In order to accomplish this mission, we are focused on accelerating the development and adoption of Apache Hadoop. By making it easier to consume for enterprises and technology vendors, we believe we can overcome any technology and knowledge gaps that could keep Apache Hadoop from reaching its potential. We believe that more than half of the world’s data will be stored in Apache Hadoop within five years.easier to install, manage and use. We also provide support and training for Apache Hadoop.

Hadoop has allowed new classes of problems to be solved in a dramatically more cost effective way. Many problems, however, do not fit nicely into the pattern of isolated problems with limited legacy systems whose primary difficulty is exactly suited to the map-reduce style of computation. In order to move from the early adopter phase of life to the early mainstream adoption, Hadoop will need to overcome several serious liabilities. These include lack of serious consideration for data loss contingencies, the need for better integration with existing systems and greater use of existing standard protocols.

IBMのHadoopディストリビューションである BigInsightsには、GPFS-SNCファイルシステム、JAQL言語、ワークフローエンジンなどの様々な付加機能があります。注目は、BigSheetsというMapReduce処理をコーディングすることなく作成ができるデータ探索ツールです。本日はBigSheetsの機能をご覧いただきます。

今となっては集計のニーズがとても高くなり、Hadoopに蓄積された情報はHadoop技術者や分析の専門家だけのものではなくなりました。一方でHadoopに蓄積されてるログの中には一般に公開できない情報などもあります。このLTでは職場で現在取り組んでいる、Hadoop環境を使った上での情報の提示方法やアクセス制限方法の事例を軽くご紹介します。 (業務内容に触れる話題につき、内容が変更する場合がございます)

サイト内のログ解析ではなく、一人一人のWeb行動に基づいたログ分析を行うサービスの事例を紹介します。

Apache HBase is an open source distributed data-store capable of managing billions of rows of semi-structured data across large clusters of commodity hardware. HBase provides real-time random read-write access as well as integration with Hadoop MapReduce, Hive, and Pig for batch analysis. In this presentation, Todd will provide an introduction to the capabilities and characteristics of HBase, comparing and contrasting it with traditional database systems. He will also introduce its architecture and data model and present some example use cases.

I will present a quick tour of some of the key technological break-throughs in MapR's architecture that allow dramatic increases in scalability, performance and usability. I will then describe how this strong foundation has a strong simplifying influence on a variety of applications including text indexing and retrieval and various machine learning algorithms.

業務システムや社会インフラシステムでHadoopの活用が進む中で、マスタサーバの可用性や運用性などが課題になることがあります。NTTデータでは、Hadoopがミドルウェアとして持つ機能だけでなく、ほかのOSSとの組合せや運用・管理手法を通じて、それらの問題を解決しています。本セッションでは、マスタサーバのHA化や構成管理方法などの具体的な例とともに、Hadoopのインフラを構築・運用するための勘所を紹介します。

Apache Hadoop is the de-facto big data platform for data storage and processing. The current stable, production release of Hadoop is 0.20.2XX, but the upcoming release is 0.23. With Hadoop 0.23 there are several major improvements, such as HDFS Federation and MapReduce v2. I will give the outline of the features of the 0.23 release, with a special focus on the MapReduce v2, which factors the framework into a generic resource scheduler and a per-job, user-defined component that manages the application's execution. High availability, security, and improved multi-tenancy are fundamental to the new architecture. The new architecture also increases innovation, agility and hardware utilization.

ヤフーではHadoopを早期に導入し、大規模なHadoopクラスタを構築し運用しています。 大規模クラスタの中では、さまざまなサービスがデータ解析や検索インデックス作成など多種多様にHadoopを活用しています。Hadoopにはさまざまな側面がありますが、本セッションではMapReduceに着目します。HiveやPigなどメタ言語による処理が主流になりつつありますが、複雑な問題に対処するにはMapReduceによる設計が欠かせません。本セッションではヤフーでのHadoopの事例に触れつつ、MapReduceでどう現実の問題に対処しどうアルゴリズムをデザインしたらよいかについて考察していきます。

Hadoopはいよいよ普及期を迎えつつあり、様々な企業で活用されてきています。そんな中、Amazon Web Services(AWS)ではHadoopをビルトインしたAmazon Elastic MapReduce(EMR)サービスを提供しています。EMRは開発者が企業のメリットとなる解析の処理にのみフォーカス出来るようなサービスです。本セッションではAWSがどうしてEMRを提供するのか、EMRとしての機能の紹介、最新の機能アップデート、海外及び日本での活用事例や活用のポイント等も含めてご紹介します。

ライブドアにおけるログ解析処理の規模、およびログ収集やHiveを中心とした解析処理の構成、周辺ツールについてご紹介します。

Amazon EMR上のHiveは非常にパワフルなのですが、クラスタを起動したり、テーブルをセットしたり、結果を取得したり、定期実行したり、という処理まではサポートしてくれません。そこで、シンプルに使えるHiveジョブの実行支援ラッパーを(Perlで)書いてみました。Hiveの処理能力を軽量な仕組みでぶんまわしましょう!

現在、アメーバでは友達関係やフォロー関係などのグラフ構造をMySQLで管理しています。しかしながら、グラフ構造が大規模になるとMySQLの管理コストが増大していく問題点があります。この問題を解決するために、HBaseに着目しました。現在、HBaseでグラフ構造を扱うDBを開発中です。今回は、どのようにHBaseでグラフ構造を扱っていくかをお話したいと思います。

グラフデータの大規模処理はMapReduceよりも効率の良い計算モデルが提案され、Google Pregel・Giraph・Hama・GoldenOrb等のプロジェクトにおいて実装が進められています。またHamaやGiraphはNextGen Apache Hadoop MapReduceへの対応が進められています。本LTでは"Large Scale Graph Processing"とはどのようなものか、各プロジェクトの特徴と共にMap Reduceと比較して紹介したいと思います。

リクルートでは複数のクラスタを構築し、データマイニングや統計解析基盤の中心としてHadoopを活用しています。本セッションでは実際の事業での利用事例を紹介するとともに、その裏でどのようにHadoopクラスタを構成しているか、Hadoopだけではなく、Mahout、Sqoopなどのエコシステム、azkabanなどのJOBスケジューリングツールの利用状況、mapRの利用検討についても合わせてお話します。

NTTコミュニケーションズは、Hadoopを利用してマーケッティング向けログ解析システムを開発しました。本解析システムはアクセスログ、クエリログ、クリックログ、CGMデータを解析して特定の商品・サービスに対するインターネットユーザの興味やフィードバックを抽出でき、(1)評判分析、(2)関連語分析、(3)ユーザ興味推定、の3種の解析を行うことができます。本発表では、上記ログ解析システムの機能の他に、Map処理の強化によるシャッフルサイズの削減方法、我々のHadoopクラスタの特徴についても紹介します。

本セッションではミクシィにおける 今のHadoop利用状況、方法についてご紹介させて頂きます。また、それとは別に現在計画中のマイニング分野におけるHadoop の利用と、実データを用いた実験結果について、具体的には Locality Sensitive Hashing (LSH)を利用した推薦（レコメンド）処理、についてご紹介させて頂きます。