【數據支撐平臺】_數據管理 _美創科技

<optgroup id="ecxsa"></optgroup>

<output id="ecxsa"><nav id="ecxsa"><video id="ecxsa"></video></nav></output>

<code id="ecxsa"></code>

產品與解決方案

服務與支持

合作發展

如何購買

關于我們

產品簡介
產品架構
核心功能
產品特點
典型應用
產品動態

產品中心

產品簡介

美創數據支撐平臺軟件（簡稱美創ETL）是美創科技研發的一款數據抽取轉換和加載工具，可以實現按秒、分、時、天為間隔的數據抽取操作。其中數據抽取轉換清理模塊可以定時將數據源中的增量數據取出，并按照指定格式（如XML）輸出數據；通過定時掃描的方式實現對增量數據的檢測，根據不同的用例將系統劃分為數據掃描模塊、數據抽取模塊和數據輸出模塊，通過接口將模塊之間解耦，增量日志的清除使用獨立的線程定時執行任務。每個模塊實現線程池，進行多線程處理，提高運行效率。輸出各個模塊的處理日志，滿足程序運行時監控。

免費試用在線咨詢

產品架構

免費試用在線咨詢

核心功能

1.支持增量數據采集技術
美創數據支撐平臺中數據抽取轉換工具采用增量采集技術，增量采集系統對生產庫的日志文件進行增量監控，有變化就把增量數據采集并送到ETL工具端，經過ETL一系列轉換和清洗后，最終數據以目標端的組織形式入庫。
2.支持多種輸入源
平臺中數據抽取轉換工具支持豐富的輸入源，使得用戶可以方便高效的從各種來源抽取想要的數據。
3.支持多種輸出格式
平臺中數據抽取轉換工具支持豐富的輸出格式，能夠滿足用戶不同的數據存儲需求。
4.靈活支持數據轉換功能
針對不一致的數據按規則進行轉換、數據粒度的轉換，以及一些商務規則的計算。
5.數據質量治理
數據支撐平臺是專業的數據質量分析，比較，驗證和監督的軟件，它會對各系統的企業信息進行數據分布驗證（如代碼、名稱的分布情況），基于驗證結果，提取關鍵信息進行比較，轉換并提煉唯一的標準企業名稱，并保證之后新抓取的數據都會根據已經設定的數據質量治理流程進行標準化處理。
6.支持地址數據標準化
美創ETL將地址數據標準化步驟如下：
1）將地址的信息分層
2）以地址字典為基礎補全地址信息
3）門牌號等數字統一為阿拉伯數字，門牌號等單位統一
4）去除空格、括號、中括號的特殊符號；全角轉半角等
7.支持作業調度
美創數據支撐平臺中數據抽取轉換工具的作業調度非常靈活，主要支持按時間調度、按外部條件調度，且可以執行外部作業。
8.平臺與作業監控
美創數據支撐平臺提供完善的平臺性能與作業執行情況的統計與監控。平臺性能包括CPU、內存、磁盤的實時資源使用情況以及歷史的趨勢統計，作業統計與監控包括目前正在執行的作業情況以及歷史作業的統計與分析。
9.完善的流程監控
支持遠程管理和監控ETL過程，可以看到實時的系統狀態以及轉換執行過程。
10.元數據管理
美創數據支撐平臺中數據抽取轉換工具支持2種元數據管理:
1）基于XML文件的元數據管理
2）基于數據庫的元數據管理
兩種管理方式都能保證用戶的元數據的一致。
11.支持遠程執行和管理
支持在遠程的服務器上部署和發布ETL服務，并對整個ETL流程能進行監控，方便用戶管理和控制整個ETL流程。
12.支持擴展功能
支持用戶方便的編寫自己的JAVA代碼、JAVASCRIPT腳本、sql腳本來擴展功能，這對于一些特定的數據抽取，或者業務處理是非常有用的。

免費試用在線咨詢

產品特點

· 跨平臺

基于Java提供多平臺支持（windows、linux、unix等）

· 大數據適配

提供HBase的輸入/輸出轉換組件，支持與非關系型數據庫HBase進行數據交互

· 豐富的系統適配功能

基于標準的JDBC、ODBC接口，實現對各種主流數據庫系統的支持

· 豐富的組件

美創ETL內置大量的任務組件和轉換組件，用戶可以通過拖拽的方式快速完成各種復雜數據集成需求和集成的調度控制

· 資源統一存儲

資源庫為美創ETL的元數據提供了統一的存儲機制，并對元數據提供各種管理功能，同時資源庫還為美創ETL的分布式部署提供支撐

· 字段拆分、混合運算

美創ETL內置眾多的字符串函數，例如SUBSTR、Instr等，可以完成字段的拆分、合并等操作。且內置的Expression組件，可增加復雜的多字段混合計算，同時內嵌100多種函數和參數，極大的提高了表達式的靈活性

· 圖形化界面、快速開發和部署

美創ETL內置大量的可視化圖形轉換組件，是完全圖形化的開發產品，無需在組件上編寫腳本語言，即可實現數據集成的快速開發和部署

· 高效數據處理

美創ETL采用并行處理的方式實現數據的高效處理，數據在美創ETL中類似于流水線上的產品

· 準實時數據接入

與傳統的數據同步技術不同，美創ETL基于數據庫日志文件（包括歸檔日志和重做日志）來實時抽取數據，延遲最低5秒

· 異?；謴?nbsp;

任務流程提供多個調度機制和異?；謴蜋C制，在異常后，支持自動和手動恢復

· 數據完整性和一致性保證

提供按批次抽取功能，并為每一批次數據提供整體事務的控制，一旦出現異常，可以從數據處理的中間狀態進行恢復，并保證數據的最終完整性和一致性

· 多種抽取模式

基于數據庫日志分析的各種數據抽取模式，如全量同步、增量同步CDC、單向同步、雙向同步、文件目錄同步等

· 插件式組件管理

提供插件式的組件管理機制，對于特殊的場景（如客戶自定義結構的文本）可以方便的

· 支持集群化配置

美創ETL系統內的數據集成引擎可以集群方式部署在多個服務器或者虛擬機上，統一使用一個監控配置器，監控配置器可以監控整個數據集成集群內各個引擎上所有數據集成服務的運行情況

免費試用在線咨詢

產品動態

服務熱線：400-811-3777

Copyright ?2005-2020 杭州美創科技有限公司. All Rights Reserved.

浙公網安備 33010502006954號浙ICP備12021012號-1 網站地圖

亚洲高潮喷水无码

<optgroup id="ecxsa"></optgroup>

<output id="ecxsa"><nav id="ecxsa"><video id="ecxsa"></video></nav></output>

<code id="ecxsa"></code>