ビッグデータ技術に基づくログ管理ソリューション

ソリューションの背景

今、保険業界は社会のイデオロギーと客観的経済発展に伴って徐々に拡大しています。保険業務規模の拡大、業務情報システムの増加、サービス提供のハードウェア設備の増加に伴い、各保険会社のシステム運営と維持が直面するプレッシャーもますます大きくなっています。

システムの運営と維持の主要な参考源データであるログ情报は、タイプやデータ量から见ても爆発的な増加倾向を示しています。従来のログ管理プラットフォームは大量のログデータを処理することが難しくなり、これらのログデータに基づいて関連の統計分析をすることも困難であり、ログデータの価値を実現できません。上記の理由を考慮し、ビッグデータ技術に基づくログ管理ソリューションを発表しました。

ソリューションの内容

ビッグデータ技術に基づくログ管理プラットフォームは、ログデータの収集、ログインデックスデータの作成、大量なログデータのメモリ、統計、分析、発掘、リアルタイムログデータの計算及び展示を含み、システムの運営と維持の過程で発生する大部分の主要ログ情報をサポートし、サーバ、セキュリティ設備、ネットワーク設備、ミドルウェア、データベース、アプリシステムのログを含み、運行と維持の過程中のログの照会、リアルタイムモニタリング警報、レポート統計分析、データ集約発掘などの主要な操作を全面的にカバーしています。プラットフォームは多様なビッグデータ技術コンポーネントを採用しています。データ収集端末はFlumeｔｐKafkaを使用し、ログ検索はElasticSearchコンポーネントを使用し、リアルタイム処理は主にStormを使用し、メモリ、分析は主にHDFS、Hive、Sparkなどのコンポーネントを使用しています。プラットフォーム全体は分布式、高い信頼性、高い利用可能性の特徴を持っています。

ソリューションの価値

ビッグデータ技術に基づく保険業ログ管理プラットフォームは、サポートするデータ量、データタイプ、採集能力、処理能力、分析能力などの面から、従来のログ管理プラットフォームを超え、システムの運行と維持能力を大幅に向上させ、運行と維持の負担を軽減し、ログデータの増値を実現しました。

ログ情報の離島の破壊

リアルタイムで大量に異なるタイプのログ情報を収集し、統一のビッグデータプラットフォームに保存し、各タイプのログデータの統一管理を完成します。

リアルタイムな警報と予測能力の向上

リアルタイムなフロー式データ処理技術を利用し、ログデータがリアルタイムに生成される過程で、特定のアルゴリズム規則を通じ、ポイントのログ項目の結果をリアルタイムに計算し、システムのリアルタイムな警報と予測能力を実現します。

ログ情報の潜在価値の発掘

大量なログデータを関連、統合、分析することによって、ログデータの中の価値のある情報点を掘り出し、運営と維持と業務システムを指導し、ログデータの増値を実現します。