Game mạng xã hội – Làm thế nào để xem KPI

Hadoop là một framework hiệu quả cho các ứng dụng phân tán. Hadoop gồm 2 thành phần chính là HDFS là MapReduce Pig là một ngôn ngữ luồng dữ liệu được sử dụng trong việc phân tích lượng dữ liệu lớn Sử dụng Pig cùng hệ thống Hadoop để phân tích dữ liệu người chơi, tạo các báo cáo KPI hàng ngày, hàng giờ.

pdf13 trang | Chia sẻ: hao_hao | Lượt xem: 1978 | Lượt tải: 0download
Bạn đang xem nội dung tài liệu Game mạng xã hội – Làm thế nào để xem KPI, để tải tài liệu về máy bạn click vào nút DOWNLOAD ở trên
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Game mạng xã hội – Làm thế nào để xem KPI Le Kim Dung DeNA Hanoi March 15, 2013 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Nội dung  Hadoop  Hadoop là gì?  Hadoop hoạt động như thế nào?  Pig  Kiến trúc phân tích cho game mạng xã hội  References  Q&A Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Hadoop là gì?  Hadoop là một framework mã nguồn mở trên nền Java hỗ trợ xử lý dữ liệu lớn trong môi trường tính toán phân tán. Efficient distribution to multiple machines Distributed Processing Distributed Data Storage Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Hadoop hoạt động như thế nào?  Thành phần chính của Hadoop: HDFS và MapReduce  Hadoop Distributed File System: lưu trữ dữ liệu phân cụm có khả năng tự sửa lỗi với băng thông cao.  MapReduce: quản lý tài nguyên phân tán có khả năng chịu lỗi và lập lịch xử lý song song lượng dữ liệu lớn. Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Hadoop hoạt động như thế nào?  Hadoop Distributed File System File dữ liệu được chia thành các blocks sau đó được nhân rộng trên các cụm (Hadoop cluster) Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Tối ưu: • Throughput • Put/Get/Delete • Appends Nhân rộng block: • Durability • Availability • Throughput Hadoop hoạt động như thế nào?  Hadoop Distributed File System Các block nhân rộng được phân tán trên các máy chủ và tủ máy chủ (rack) Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Hadoop hoạt động như thế nào?  MapReduce Công việc được chia nhỏ thành các nhiệm vụ, sau đó các nhiệm vụ này được lập lịch để gần với dữ liệu nhất có thể. Huge calculation task Result Map Reduced Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Hadoop hoạt động như thế nào?  MapReduce Các mức phân phối nhiệm vụ: • Cùng máy chủ với dữ liệu (local disk) • Cùng tủ máy chủ với dữ liệu (rack/leaf switch) • Nơi có bộ nhớ trống (cross rack) Tối ưu: • Xử lý theo khối • Khôi phục lỗi Hệ thống phát hiện các nhiệm vụ bị trễ và thực hiện song song các nhiệm vụ trên cùng một khối dữ liệu Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Pig  Pig là một ngôn ngữ script gần giống với SQL cho phép thực thi một cách dễ dàng các tiến trình Map Reduce phức tạp A = LOAD ‘myfile' AS (id: int, name: chararray, date: chararray, num: int); B = GROUP A BY date PARALLEL 20; C = FOREACH B GENERATE group AS date, SUM(num) AS total; D = ORDER C BY date PARALLEL 1; STORE D INTO ‘output’; Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Kiến trúc phân tích game mạng xã hội Big Data Pig Combo Log Combo Log Combo Log Data Processing t r i Report Mail Games Real time Hourly Ad-hoc Hourly Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Tổng kết  Hadoop là một framework hiệu quả cho các ứng dụng phân tán.  Hadoop gồm 2 thành phần chính là HDFS là MapReduce  Pig là một ngôn ngữ luồng dữ liệu được sử dụng trong việc phân tích lượng dữ liệu lớn  Sử dụng Pig cùng hệ thống Hadoop để phân tích dữ liệu người chơi, tạo các báo cáo KPI hàng ngày, hàng giờ. Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Tài liệu tham khảo  Juji Ukai - Basics of SG Analytics How to Make $10M/month Games - January 8, 2013.  Juji Ukai – Hadoop Trainning – May 24, 2011.  Amr Awadallah - Introducing Apache Hadoop: The Modern Data Operating System - November 16, 2011.   hadoop.html  Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved. Thank you!

Các file đính kèm theo tài liệu này:

  • pdfslidedunglevn_84.pdf
Tài liệu liên quan