新聞資訊  快訊  焦點  財經  政策  社會
互 聯 網   電商  金融  數據  計算  技巧
生活百科  科技  職場  健康  法律  汽車
手機百科  知識  軟件  修理  測評  微信
軟件技術  應用  系統  圖像  視頻  經驗
硬件技術  知識  技術  測評  選購  維修
網絡技術  硬件  軟件  設置  安全  技術
程序開發  語言  移動  數據  開源  百科
安全防護  資訊  黑客  木馬  病毒  移動
站長技術  搜索  SEO  推廣  媒體  移動
財經百科  股票  知識  理財  財務  金融
教育考試  育兒  小學  高考  考研  留學
您當前的位置:首頁 > 互聯網百科 > 大數據

大數據三大核心技術

時間:2019-05-15 11:02:34  來源:  作者:
大數據三大核心技術:拿數據、算數據、賣數據!

 

大數據的由來

對于“大數據”(Big data)研究機構Gartner給出了這樣的定義。“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

1

麥肯錫全球研究所給出的定義是:一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。

大數據技術的戰略意義不在于掌握龐大的數據信息,而在于對這些含有意義的數據進行專業化處理。換而言之,如果把大數據比作一種產業,那么這種產業實現盈利的關鍵,在于提高對數據的“加工能力”,通過“加工”實現數據的“增值”。

從技術上看,大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理,必須采用分布式架構。它的特色在于對海量數據進行分布式數據挖掘。但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。

隨著云時代的來臨,大數據(Big data)也吸引了越來越多的關注。分析師團隊認為,大數據(Big data)通常用來形容一個公司創造的大量非結構化數據和半結構化數據,這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起,因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。

大數據需要特殊的技術,以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術,包括大規模并行處理(MPP)數據庫、數據挖掘、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。

最小的基本單位是bit,按順序給出所有單位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

大數據三大核心技術:拿數據、算數據、賣數據!

 

大數據的應用領域

大數據無處不在,大數據應用于各個行業,包括金融汽車、餐飲、電信、能源、體能和娛樂等在內的社會各行各業都已經融入了大數據的印跡。

制造業,利用工業大數據提升制造業水平,包括產品故障診斷與預測、分析工藝流程、改進生產工藝,優化生產過程能耗、工業供應鏈分析與優化、生產計劃與排程。

金融行業,大數據在高頻交易、社交情緒分析和信貸風險分析三大金融創新領域發揮重大作用。

汽車行業,利用大數據和物聯網技術的無人駕駛汽車,在不遠的未來將走入我們的日常生活。

互聯網行業,借助于大數據技術,可以分析客戶行為,進行商品推薦和針對性廣告投放。

電信行業,利用大數據技術實現客戶離網分析,及時掌握客戶離網傾向,出臺客戶挽留措施。

能源行業,隨著智能電網的發展,電力公司可以掌握海量的用戶用電信息,利用大數據技術分析用戶用電模式,可以改進電網運行,合理設計電力需求響應系統,確保電網運行安全。

物流行業,利用大數據優化物流網絡,提高物流效率,降低物流成本。

城市管理,可以利用大數據實現智能交通、環保監測、城市規劃和智能安防。

生物醫學,大數據可以幫助我們實現流行病預測、智慧醫療、健康管理,同時還可以幫助我們解讀DNA,了解更多的生命奧秘。

體育娛樂,大數據可以幫助我們訓練球隊,決定投拍哪種題財的影視作品,以及預測比賽結果。

安全領域,政府可以利用大數據技術構建起強大的國家安全保障體系,企業可以利用大數據抵御網絡攻擊,警察可以借助大數據來預防犯罪。

個人生活, 大數據還可以應用于個人生活,利用與每個人相關聯的“個人大數據”,分析個人生活行為習慣,為其提供更加周到的個性化服務。

大數據的價值,遠遠不止于此,大數據對各行各業的滲透,大大推動了社會生產和生活,未來必將產生重大而深遠的影響。

大數據方面核心技術有哪些?

大數據技術的體系龐大且復雜,基礎的技術包含數據的采集、數據預處理、分布式存儲、NoSQL數據庫、數據倉庫、機器學習、并行計算、可視化等各種技術范疇和不同的技術層面。首先給出一個通用化的大數據處理框架,主要分為下面幾個方面:數據采集與預處理、數據存儲、數據清洗、數據查詢分析和數據可視化。

大數據三大核心技術:拿數據、算數據、賣數據!

 

數據采集與預處理

對于各種來源的數據,包括移動互聯網數據、社交網絡的數據等,這些結構化和非結構化的海量數據是零散的,也就是所謂的數據孤島,此時的這些數據并沒有什么意義,數據采集就是將這些數據寫入數據倉庫中,把零散的數據整合在一起,對這些數據綜合起來進行分析。數據采集包括文件日志的采集、數據庫日志的采集、關系型數據庫的接入和應用程序的接入等。在數據量比較小的時候,可以寫個定時的腳本將日志寫入存儲系統,但隨著數據量的增長,這些方法無法提供數據安全保障,并且運維困難,需要更強壯的解決方案。

Flume NG

Flume NG作為實時日志收集系統,支持在日志系統中定制各類數據發送方,用于收集數據,同時,對數據進行簡單處理,并寫到各種數據接收方(比如文本,HDFS,Hbase等)。Flume NG采用的是三層架構:Agent層,Collector層和Store層,每一層均可水平拓展。其中Agent包含Source,Channel和 Sink,source用來消費(收集)數據源到channel組件中,channel作為中間臨時存儲,保存所有source的組件信息,sink從channel中讀取數據,讀取成功之后會刪除channel中的信息。

NDC

NDC,Netease Data Canal,直譯為網易數據運河系統,是網易針對結構化數據庫的數據實時遷移、同步和訂閱的平臺化解決方案。它整合了網易過去在數據傳輸領域的各種工具和經驗,將單機數據庫、分布式數據庫、OLAP系統以及下游應用通過數據鏈路串在一起。除了保障高效的數據傳輸外,NDC的設計遵循了單元化和平臺化的設計哲學。

Logstash

Logstash是開源的服務器端數據處理管道,能夠同時從多個來源采集數據、轉換數據,然后將數據發送到您最喜歡的 “存儲庫” 中。一般常用的存儲庫是Elasticsearch。Logstash 支持各種輸入選擇,可以在同一時間從眾多常用的數據來源捕捉事件,能夠以連續的流式傳輸方式,輕松地從您的日志、指標、Web 應用、數據存儲以及各種 AWS 服務采集數據。

Sqoop

Sqoop,用來將關系型數據庫和Hadoop中的數據進行相互轉移的工具,可以將一個關系型數據庫(例如MySQL、Oracle)中的數據導入到Hadoop(例如HDFS、Hive、Hbase)中,也可以將Hadoop(例如HDFS、Hive、Hbase)中的數據導入到關系型數據庫(例如Mysql、Oracle)中。Sqoop 啟用了一個 MapReduce 作業(極其容錯的分布式并行計算)來執行任務。Sqoop 的另一大優勢是其傳輸大量結構化或半結構化數據的過程是完全自動化的。

大數據三大核心技術:拿數據、算數據、賣數據!

 

流式計算

流式計算是行業研究的一個熱點,流式計算對多個高吞吐量的數據源進行實時的清洗、聚合和分析,可以對存在于社交網站、新聞等的數據信息流進行快速的處理并反饋,目前大數據流分析工具有很多,比如開源的strom,spark streaming等。

Strom集群結構是有一個主節點(nimbus)和多個工作節點(supervisor)組成的主從結構,主節點通過配置靜態指定或者在運行時動態選舉,nimbus與supervisor都是Storm提供的后臺守護進程,之間的通信是結合Zookeeper的狀態變更通知和監控通知來處理。nimbus進程的主要職責是管理、協調和監控集群上運行的topology(包括topology的發布、任務指派、事件處理時重新指派任務等)。supervisor進程等待nimbus分配任務后生成并監控worker(jvm進程)執行任務。supervisor與worker運行在不同的jvm上,如果由supervisor啟動的某個worker因為錯誤異常退出(或被kill掉),supervisor會嘗試重新生成新的worker進程。

當使用上游模塊的數據進行計算、統計、分析時,就可以使用消息系統,尤其是分布式消息系統。Kafka使用Scala進行編寫,是一種分布式的、基于發布/訂閱的消息系統。Kafka的設計理念之一就是同時提供離線處理和實時處理,以及將數據實時備份到另一個數據中心,Kafka可以有許多的生產者和消費者分享多個主題,將消息以topic為單位進行歸納;Kafka發布消息的程序稱為producer,也叫生產者,預訂topics并消費消息的程序稱為consumer,也叫消費者;當Kafka以集群的方式運行時,可以由一個服務或者多個服務組成,每個服務叫做一個broker,運行過程中producer通過網絡將消息發送到Kafka集群,集群向消費者提供消息。Kafka通過Zookeeper管理集群配置,選舉leader,以及在Consumer Group發生變化時進行rebalance。Producer使用push模式將消息發布到broker,Consumer使用pull模式從broker訂閱并消費消息。Kafka可以和Flume一起工作,如果需要將流式數據從Kafka轉移到hadoop,可以使用Flume代理agent,將Kafka當做一個來源source,這樣可以從Kafka讀取數據到Hadoop。

Zookeeper

Zookeeper是一個分布式的,開放源碼的分布式應用程序協調服務,提供數據同步服務。它的作用主要有配置管理、名字服務、分布式鎖和集群管理。配置管理指的是在一個地方修改了配置,那么對這個地方的配置感興趣的所有的都可以獲得變更,省去了手動拷貝配置的繁瑣,還很好的保證了數據的可靠和一致性,同時它可以通過名字來獲取資源或者服務的地址等信息,可以監控集群中機器的變化,實現了類似于心跳機制的功能。

大數據三大核心技術:拿數據、算數據、賣數據!

 

數據存儲

Hadoop作為一個開源的框架,專為離線和大規模數據分析而設計,HDFS作為其核心的存儲引擎,已被廣泛用于數據存儲。

HBase

HBase,是一個分布式的、面向列的開源數據庫,可以認為是hdfs的封裝,本質是數據存儲、NoSQL數據庫。HBase是一種Key/Value系統,部署在hdfs上,克服了hdfs在隨機讀寫這個方面的缺點,與hadoop一樣,Hbase目標主要依靠橫向擴展,通過不斷增加廉價的商用服務器,來增加計算和存儲能力。

Phoenix

Phoenix,相當于一個JAVA中間件,幫助開發工程師能夠像使用JDBC訪問關系型數據庫一樣訪問NoSQL數據庫HBase。

Yarn

Yarn是一種Hadoop資源管理器,可為上層應用提供統一的資源管理和調度,它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。Yarn由下面的幾大組件構成:一個全局的資源管理器ResourceManager、ResourceManager的每個節點代理NodeManager、表示每個應用的Application以及每一個ApplicationMaster擁有多個Container在NodeManager上運行。

Mesos

Mesos是一款開源的集群管理軟件,支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等應用架構。

redis

Redis是一種速度非常快的非關系數據庫,可以存儲鍵與5種不同類型的值之間的映射,可以將存儲在內存的鍵值對數據持久化到硬盤中,使用復制特性來擴展性能,還可以使用客戶端分片來擴展寫性能。

Atlas

Atlas是一個位于應用程序與MySQL之間的中間件。在后端DB看來,Atlas相當于連接它的客戶端,在前端應用看來,Atlas相當于一個DB。Atlas作為服務端與應用程序通訊,它實現了MySQL的客戶端和服務端協議,同時作為客戶端與MySQL通訊。它對應用程序屏蔽了DB的細節,同時為了降低MySQL負擔,它還維護了連接池。Atlas啟動后會創建多個線程,其中一個為主線程,其余為工作線程。主線程負責監聽所有的客戶端連接請求,工作線程只監聽主線程的命令請求。

Kudu

Kudu是圍繞Hadoop生態圈建立的存儲引擎,Kudu擁有和Hadoop生態圈共同的設計理念,它運行在普通的服務器上、可分布式規模化部署、并且滿足工業界的高可用要求。其設計理念為fast analytics on fast data。作為一個開源的存儲引擎,可以同時提供低延遲的隨機讀寫和高效的數據分析能力。Kudu不但提供了行級的插入、更新、刪除API,同時也提供了接近Parquet性能的批量掃描操作。使用同一份存儲,既可以進行隨機讀寫,也可以滿足數據分析的要求。Kudu的應用場景很廣泛,比如可以進行實時的數據分析,用于數據可能會存在變化的時序數據應用等。

在數據存儲過程中,涉及到的數據表都是成千上百列,包含各種復雜的Query,推薦使用列式存儲方法,比如parquent,ORC等對數據進行壓縮。Parquet 可以支持靈活的壓縮選項,顯著減少磁盤上的存儲。

大數據三大核心技術:拿數據、算數據、賣數據!

 

數據清洗

MapReduce作為Hadoop的查詢引擎,用于大規模數據集的并行計算,”Map(映射)”和”Reduce(歸約)”,是它的主要思想。它極大的方便了編程人員在不會分布式并行編程的情況下,將自己的程序運行在分布式系統中。

隨著業務數據量的增多,需要進行訓練和清洗的數據會變得越來越復雜,這個時候就需要任務調度系統,比如oozie或者azkaban,對關鍵任務進行調度和監控。

Oozie

Oozie是用于Hadoop平臺的一種工作流調度引擎,提供了RESTful API接口來接受用戶的提交請求(提交工作流作業),當提交了workflow后,由工作流引擎負責workflow的執行以及狀態的轉換。用戶在HDFS上部署好作業(MR作業),然后向Oozie提交Workflow,Oozie以異步方式將作業(MR作業)提交給Hadoop。這也是為什么當調用Oozie 的RESTful接口提交作業之后能立即返回一個JobId的原因,用戶程序不必等待作業執行完成(因為有些大作業可能會執行很久(幾個小時甚至幾天))。Oozie在后臺以異步方式,再將workflow對應的Action提交給hadoop執行。

Azkaban

Azkaban也是一種工作流的控制引擎,可以用來解決有多個hadoop或者spark等離線計算任務之間的依賴關系問題。azkaban主要是由三部分構成:Relational Database,Azkaban Web Server和Azkaban Executor Server。azkaban將大多數的狀態信息都保存在MySQL中,Azkaban Web Server提供了Web UI,是azkaban主要的管理者,包括project的管理、認證、調度以及對工作流執行過程中的監控等;Azkaban Executor Server用來調度工作流和任務,記錄工作流或者任務的日志。

流計算任務的處理平臺Sloth,是網易首個自研流計算平臺,旨在解決公司內各產品日益增長的流計算需求。作為一個計算服務平臺,其特點是易用、實時、可靠,為用戶節省技術方面(開發、運維)的投入,幫助用戶專注于解決產品本身的流計算需求

數據查詢分析

Hive

Hive的核心工作就是把SQL語句翻譯成MR程序,可以將結構化的數據映射為一張數據庫表,并提供 HQL(Hive SQL)查詢功能。Hive本身不存儲和計算數據,它完全依賴于HDFS和MapReduce。可以將Hive理解為一個客戶端工具,將SQL操作轉換為相應的MapReduce jobs,然后在hadoop上面運行。Hive支持標準的SQL語法,免去了用戶編寫MapReduce程序的過程,它的出現可以讓那些精通SQL技能、但是不熟悉MapReduce 、編程能力較弱與不擅長Java語言的用戶能夠在HDFS大規模數據集上很方便地利用SQL 語言查詢、匯總、分析數據。

大數據三大核心技術:拿數據、算數據、賣數據!

 

Hive是為大數據批量處理而生的,Hive的出現解決了傳統的關系型數據庫(MySql、Oracle)在大數據處理上的瓶頸 。Hive 將執行計劃分成map->shuffle->reduce->map->shuffle->reduce…的模型。如果一個Query會被編譯成多輪MapReduce,則會有更多的寫中間結果。由于MapReduce執行框架本身的特點,過多的中間過程會增加整個Query的執行時間。在Hive的運行過程中,用戶只需要創建表,導入數據,編寫SQL分析語句即可。剩下的過程由Hive框架自動的完成。

Impala

Impala是對Hive的一個補充,可以實現高效的SQL查詢。使用Impala來實現SQL on Hadoop,用來進行大數據實時查詢分析。通過熟悉的傳統關系型數據庫的SQL風格來操作大數據,同時數據也是可以存儲到HDFS和HBase中的。Impala沒有再使用緩慢的Hive+MapReduce批處理,而是通過使用與商用并行關系數據庫中類似的分布式查詢引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分組成),可以直接從HDFS或HBase中用SELECT、JOIN和統計函數查詢數據,從而大大降低了延遲。Impala將整個查詢分成一執行計劃樹,而不是一連串的MapReduce任務,相比Hive沒了MapReduce啟動時間。

Hive 適合于長時間的批處理查詢分析,而Impala適合于實時交互式SQL查詢,Impala給數據人員提供了快速實驗,驗證想法的大數據分析工具,可以先使用Hive進行數據轉換處理,之后使用Impala在Hive處理好后的數據集上進行快速的數據分析。總的來說:Impala把執行計劃表現為一棵完整的執行計劃樹,可以更自然地分發執行計劃到各個Impalad執行查詢,而不用像Hive那樣把它組合成管道型的map->reduce模式,以此保證Impala有更好的并發性和避免不必要的中間sort與shuffle。但是Impala不支持UDF,能處理的問題有一定的限制。

Spark

Spark擁有Hadoop MapReduce所具有的特點,它將Job中間輸出結果保存在內存中,從而不需要讀取HDFS。Spark 啟用了內存分布數據集,除了能夠提供交互式查詢外,它還可以優化迭代工作負載。Spark 是在 Scala 語言中實現的,它將 Scala 用作其應用程序框架。與 Hadoop 不同,Spark 和 Scala 能夠緊密集成,其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。

Nutch

Nutch 是一個開源Java 實現的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具,包括全文搜索和Web爬蟲。

大數據三大核心技術:拿數據、算數據、賣數據!

 

Solr

Solr用Java編寫、運行在Servlet容器(如Apache Tomcat或Jetty)的一個獨立的企業級搜索應用的全文搜索服務器。它對外提供類似于Web-service的API接口,用戶可以通過http請求,向搜索引擎服務器提交一定格式的XML文件,生成索引;也可以通過Http Get操作提出查找請求,并得到XML格式的返回結果。

Elasticsearch

Elasticsearch是一個開源的全文搜索引擎,基于Lucene的搜索服務器,可以快速的儲存、搜索和分析海量的數據。設計用于云計算中,能夠達到實時搜索,穩定,可靠,快速,安裝使用方便。

還涉及到一些機器學習語言,比如,Mahout主要目標是創建一些可伸縮的機器學習算法,供開發人員在Apache的許可下免費使用;深度學習框架Caffe以及使用數據流圖進行數值計算的開源軟件庫TensorFlow等,常用的機器學習算法比如,貝葉斯、邏輯回歸、決策樹、神經網絡、協同過濾等。

數據可視化

對接一些BI平臺,將分析得到的數據進行可視化,用于指導決策服務。主流的BI平臺比如,國外的敏捷BI Tableau、Qlikview、PowrerBI等,國內的SmallBI和新興的網易有數等。

在上面的每一個階段,保障數據的安全是不可忽視的問題。

基于網絡身份認證的協議Kerberos,用來在非安全網絡中,對個人通信以安全的手段進行身份認證,它允許某實體在非安全網絡環境下通信,向另一個實體以一種安全的方式證明自己的身份。

控制權限的ranger是一個Hadoop集群權限框架,提供操作、監控、管理復雜的數據權限,它提供一個集中的管理機制,管理基于yarn的Hadoop生態圈的所有數據權限。可以對Hadoop生態的組件如Hive,Hbase進行細粒度的數據訪問控制。通過操作Ranger控制臺,管理員可以輕松的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、數據庫、表、字段權限。這些策略可以為不同的用戶和組來設置,同時權限可與hadoop無縫對接。

大數據三大核心技術:拿數據、算數據、賣數據!

 

簡單說有三大核心技術:拿數據,算數據,賣數據。
 



Tags:大數據   點擊:()  評論:()
聲明:本站部分內容來自互聯網,內容觀點僅代表作者本人,如有任何版權侵犯請與我們聯系,我們將立即刪除。
▌相關評論
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
▌相關推薦
數據分析工作雖然隱藏在業務系統背后,但是具有非常重要的作用,數據分析的結果對決策、業務發展有著舉足輕重的作用。隨著大數據技術的發展,數據挖掘、數據探索等專有名詞曝光度...【詳細內容】
2019-11-01   大數據  點擊:(9)  評論:(0)  加入收藏
“看的懂的叫套路,看不懂的叫謀略”,頂尖高手,把它們叫謀略,研究它們,使用它們;普通的人,把它們叫套路,討厭它們,排斥它們。親愛的讀者你好,閱讀本文前請點擊上方關注我,及時獲取最新的...【詳細內容】
2019-10-22   大數據  點擊:(11)  評論:(0)  加入收藏
Python有個處理大數據的庫,結合xlrd庫,在做一些大數據的處理統計工作的時候很好用,譬如做性能測試,你的結果數據如何統計,python有個庫pandas,這個就很擅長做這個工作,這里就講2個p...【詳細內容】
2019-10-16   大數據  點擊:(9)  評論:(0)  加入收藏
典型互聯網大數據平臺架構首先我們來看一個典型的互聯網大數據平臺的架構,如下圖所示: 在這張架構圖中,大數據平臺里面向用戶的在線業務處理組件用褐色標示出來,這部分是屬于互...【詳細內容】
2019-10-10   大數據  點擊:(36)  評論:(0)  加入收藏
大數據背景對于業務數據數據量的暴增,用戶智能化需求提升。在這個DT的時代,大數據的開發也就應運而生了,大數據開發必須解決兩個問題,大數據量如何統一存儲,大數據量如何統一計算...【詳細內容】
2019-10-08   大數據  點擊:(23)  評論:(0)  加入收藏
2019年“十一”黃金周結束,電商、旅行、電影等消費領域全面呈現向好趨勢。商務部最新數據顯示,今年“十一”黃金周,購物、餐飲等傳統消費亮點紛呈,旅游、文化、體育等新興消費蓬...【詳細內容】
2019-10-08   大數據  點擊:(15)  評論:(0)  加入收藏
大數據時代商業智能(BI)和數據可視化訴求更為強烈,淘寶大屏更是風靡全球!數據可視化是大數據『最后一公里』,BI喚醒沉睡的數據。...【詳細內容】
2019-09-26   大數據  點擊:(41)  評論:(0)  加入收藏
"昨天你是幾點睡的?"這樣一個看似簡單又平常的問題,從答案中卻能讀懂人生的百般滋味,現代都市的夜晚,是照見城市人生百態的另一面鏡子。在深夜里,有人因為加班被動的無法睡覺,也有...【詳細內容】
2019-09-19   大數據  點擊:(110)  評論:(0)  加入收藏
作者 | 小棗君責編 | 胡巍巍本文經授權轉載自鮮棗課堂(ID:xzclasscom)這些年,大數據作為一個時髦概念,出現頻率很高,關注度也很高。對于很多人來說,當他第一次聽到“大數據”這個詞...【詳細內容】
2019-09-05   大數據  點擊:(28)  評論:(0)  加入收藏
數字化時代的精準推薦系統隨著全球數字化、5G通信技術的成熟、互聯網應用于各行各業,累積的數據量越來越大,越來越多企業、行業和國家發現,可以利用類似的技術更好地服務客戶、...【詳細內容】
2019-09-05   大數據  點擊:(74)  評論:(0)  加入收藏
概述說到druid,這個還是以前在開源中國項目中看到的,說是比較好的數據連接池。今天就分享下常見的三大連接池--c3p0,dbcp與druid。功能1、DBCPDBCP是一個依賴Jakarta commons-p...【詳細內容】
2019-09-03   大數據  點擊:(37)  評論:(0)  加入收藏
一、MySQL 優點:體積小、速度快、總體擁有成本低,開源;支持多種操作系統;是開源數據庫,提供的接口支持多種語言連接操作 ;MySQL的核心程序采用完全的多線程編程。線程是輕量級的進...【詳細內容】
2019-08-29   大數據  點擊:(43)  評論:(0)  加入收藏
與任何I / O子系統不同,Hadoop還帶有一組原語。當然,這些原始考慮因素雖然是通用的,但也與Hadoop IO系統一起使用,并具有一些特殊的內涵。Hadoop處理數TB的數據集; 對這些原語...【詳細內容】
2019-08-29   大數據  點擊:(44)  評論:(0)  加入收藏
前言當我們操作mysql的時候,如果數據量很小,那么我們如何處理都沒有問題。但是當一張表非常大的時候,我們一個大查詢,一個堆大插入,一個count(*),一個limit都是非常恐怖的,因此,我...【詳細內容】
2019-08-27   大數據  點擊:(80)  評論:(0)  加入收藏
Apache Hadoop是一個出色的軟件框架,允許處理大數據元素。它可以通過采用模塊化系統和處理大量數據來使用商用硬件的強大功能。Hadoop可以在不同的發行版中使用,因為公司通常...【詳細內容】
2019-08-26   大數據  點擊:(38)  評論:(0)  加入收藏
歡迎來到BigData的世界現如今,我們來到了數據時代,數據信息化與我們的生活與工作息息相關。此篇文章簡述利用大數據框架,實時處理數據的流程與相關框架的介紹,主要包括: 數據實...【詳細內容】
2019-08-20   大數據  點擊:(36)  評論:(0)  加入收藏
你點開這文章,說明你清晰知道了數據才是一切的基礎。馬運說:數據是信息時到的石油,確實如此。人工智能、機器學習、**行業大數據等應用的基礎都是基于這樣的一個流程,萬變離其宗...【詳細內容】
2019-08-20   大數據  點擊:(32)  評論:(0)  加入收藏
前言美團最初的數據處理以Hive SQL為主,底層計算引擎為MapReduce,部分相對復雜的業務會由工程師編寫MapReduce程序實現。隨著業務的發展,單純的Hive SQL查詢或者MapReduce程序...【詳細內容】
2019-08-16   大數據  點擊:(24)  評論:(0)  加入收藏
一、大數據中的數據倉庫和Mpp數據庫如何選型?在Hadoop平臺中,一般大家都把hive當做數據倉庫的一種選擇,而Mpp數據庫的典型代表就是impala,presto。Mpp架構的數據庫主要用于即...【詳細內容】
2019-08-15   大數據  點擊:(28)  評論:(0)  加入收藏
相信很多小伙伴發現在某個app上用自己賬號搜索出的商品價格和用爸媽的賬號搜索出的商品價格不一樣,有的時候價格相差得還很大,這是什么原因呢?是app出現了bug,還是自己眼花了?兩...【詳細內容】
2019-08-14   大數據  點擊:(29)  評論:(0)  加入收藏
最新更新
欄目熱門
欄目頭條
31选7开奖11185