松阳一村民家中天降"不速之客" 屋顶被砸破一个窟窿

自然语言处理NLP系列：HanLP在线交互环境体验欢迎来到HanLP在线交互环境，这是一个Jupyter记事本，可以输入任意Python代码并在线执行。请点击左上角【Run】来运行这篇NLP教程。安装量体裁衣，HanLP提供RESTful（云端）和native（本地）两种API，分别面向轻量级和海量级两种场景。无论何种API何种语言，HanLP接口在语义上保持一致，你可以任选一种API来运行本教程。轻量级RESTful API仅数KB，适合敏捷开发、移动APP等场景。简单易用，无需GPU配环境，

图神经网络系列-BiNE算法BiNE算法论文提出了一种二部网络的表示学习方法。虽然现有的工作已经开发了各种网络数据嵌入方法，但它们主要集中在一般的同构网络上，而忽略了二部网络的特殊性质。因此，对于嵌入二部网络，这些方法可能是次优的。在本文中，论文提出了一种新的学习二部网络顶点表示的方法BiNE，简称二部网络嵌入。通过有目的地执行有偏随机游动，生成的顶点序列能够很好地保持原始二部网络中顶点的长尾分布。论文提出了一个新的优化框架，该框架考虑了学习顶点表示时的显式关系（即观察到的链接）和隐式关系（即未观察到但可

Flink大数据实时计算系列-Flink写出多个parquet小文件处理方法、Presto的介绍与使用场景 Presto的安装与使用目录 Flink写出多个parquet小文件处理方法Presto的介绍与使用场景Presto的安装与使用Flink参考链接Flink系列博客Flink写出多个parquet小文件处理方法Presto的介绍与使用场景Presto的安装与使用Flink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Fl

Flink大数据实时计算系列-Flink的列式格式parquet压缩保存目录 Flink的列式格式parquet压缩保存Flink自定义压缩类实现hive验证parquet格式Flink参考链接Flink系列博客Flink的列式格式parquet压缩保存ParquetAvroWriterspublic class ParquetAvroWriters { public static <T extends SpecificRecordBase> ParquetWriterFacto

Flink大数据实时计算系列-Flink的列式格式parquet保存Flink的列式格式parquet保存 package com.flinkniu.flink.file;import org.apache.flink.api.common.restartstrategy.RestartStrategies;import org.apache.flink.api.common.serialization.SimpleStringEncoder;import org.apache.flink.a

机器学习深度学习高阶内容系列-kaggle广告点击欺诈识别实战中国是全球最大的智能移动设备市场，每月有超过10亿台智能移动设备投入使用 。TalkingData是中国最大的独立大数据服务平台，覆盖全国70%以上的活跃移动设备。每天处理30亿次点击，其中90%是潜在的欺诈。目前防止应用程序开发人员点击欺诈的方法是测量用户在其产品组合中的点击历程，并标记产生大量点击但最终不会安装应用程序的IP地址。根据这些信息，建立了一个IP黑名单和设备黑名单。Kaggle提供了一个覆盖了4天内约2亿次点击的数据集，本案例的

机器学习深度学习高阶内容系列-Python实现凸优化求解器CVXOPT是一个基于Python编程语言的凸优化的免费软件包。它可以与交互式Python解释器一起使用，通过执行Python脚本在命令行上使用，或者通过Python扩展模块集成到其他软件中。它的主要目的是通过构建Python广泛的标准库和Python作为高级编程语言的优势，使凸优化应用程序的软件开发变得简单明了。CVXOPT用两个矩阵对象扩展了内置Python对象：一个用于密集矩阵的矩阵对象和一个用于稀疏矩阵的spmatrix对象。密集矩阵和稀

Flink大数据实时计算系列-列式存储parquet文件格式介绍 Flink进行rowformat格式文件保存列式存储parquet文件格式介绍Hive中创建表 采用parquet格式Flink进行rowformat格式文件保存Flink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列博客Flink 第一个 JAVA代码Flink JAVA Lambda 实

Flink大数据实时计算系列-Flink的累加器和计数器目录 Flink的累加器和计数器有界数据流无界数据流Flink参考链接Flink系列博客Flink的累加器和计数器有界数据流案例代码package com.flinkniu.flink.windows;import org.apache.flink.api.common.JobExecutionResult;import org.apache.flink.api.common.accumulators.IntCounter;impo

Flink大数据实时计算系列-Flink的processFunction TimerSerivce删除多余计数器Flink的processFunction TimerSerivce删除多余计数器案例代码package com.flinkniu.flink.windows;import org.apache.flink.api.common.functions.ReduceFunction;import org.apache.flink.api.common.state.ReducingSta

Flink大数据实时计算系列-Flink的processFunction TimerService结合状态使用Flink的processFunction TimerService结合状态使用案例代码package com.flinkniu.flink.windows;import org.apache.flink.api.common.functions.ReduceFunction;import org.apache.flink.api.common.state.ReducingState;

Flink大数据实时计算系列-Flink的processFunction TimerService的基础用法目录 Flink的processFunction TimerService的基础用法Flink参考链接Flink系列博客Flink的processFunction TimerService的基础用法Flink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列博客Flink 第一

Flink大数据实时计算系列-Flink的windows join目录 Flink的windows joinFlink参考链接Flink系列博客Flink的windows joinFlink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列博客Flink 第一个 JAVA代码Flink JAVA Lambda 实现Flink JAVA Funcation 实现Fli

Flink大数据实时计算系列-Flink的windowsAll用法Flink的windowsAll用法countWindowAllpackage com.flinkniu.flink.windows;import org.apache.flink.api.common.functions.ReduceFunction;import org.apache.flink.api.java.functions.KeySelector;import org.apache.flink.api.java.t

NLP自然语言处理系列-Google BERT源码学习论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》引入了一个新的语言表示模型BERT，它代表来自Transformers的双向编码器表示。与最近的语言表示模型不同，BERT的设计是通过在所有层次上对左右上下文进行联合条件作用，从未标记文本中预训练深层双向表示。因此，预先训练好的BERT模型只需要一个额外的输出层就可以进行微调，从而为各

Flink大数据实时计算系列-Flink的windows的窗口函数练习目录 Flink的windows的窗口函数练习使用reduce案例代码使用AggregateFunction案例代码apply 方法获取窗口全量数据Flink参考链接Flink系列博客Flink的windows的窗口函数练习使用reduce案例代码package com.flinkniu.flink.windows;import org.apache.flink.api.common.functions.ReduceFunc

Flink大数据实时计算系列-目录 Flink的Global Windows使用Flink参考链接Flink系列博客Flink的Global Windows使用package com.flinkniu.flink.windows;import org.apache.flink.api.java.functions.KeySelector;import org.apache.flink.api.java.tuple.Tuple3;import org.apache.flink.configu

Flink大数据实时计算系列-Flink的Session Windows使用目录 Flink的Session Windows使用Flink参考链接Flink系列博客Flink的Session Windows使用示例：不能按用户点击时间，也不能按用户点击次数统计，需按用户Session统计时间窗口。代码实战package com.flinkniu.flink.windows;import jdk.nashorn.internal.runtime.regexp.joni.Config;im

Flink大数据实时计算系列-Flink的Sliding Windows使用目录 Flink的Sliding Windows使用Flink参考链接Flink系列博客Flink的Sliding Windows使用Flink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列博客Flink 第一个 JAVA代码Flink JAVA Lambda 实现Flink JAVA Fu

Flink大数据实时计算系列-Flink的Keyed Windows 对比 Non-Keyed Windows的区别目录 Flink的Keyed Windows 对比 Non-Keyed Windows的区别Flink参考链接Flink系列博客Flink的Keyed Windows 对比 Non-Keyed Windows的区别Flink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flin

Flink大数据实时计算系列-Flink窗口如何处理延时数据目录 Flink窗口如何处理延时数据Flink参考链接Flink系列博客Flink窗口如何处理延时数据Flink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列博客Flink 第一个 JAVA代码Flink JAVA Lambda 实现Flink JAVA Funcation 实现Flink JAVA Fu

Flink大数据实时计算系列-Flink生成递增和延时的Watermark方法目录 Flink生成递增的Watermark方法Flink生成延时的Watermark方法Flink参考链接Flink系列博客Flink生成递增的Watermark方法TimestampWatermarkMethod4package com.flinkniu.flink.windows;import org.apache.flink.configuration.Configuration;import org.ap

Flink大数据实时计算系列-Flink的watermarks的作用目录 Flink的watermarks的作用Flink有序流或无充流中watermarks的作用Flink并行流中的WatermarksFlink自定义生成Timestamp和Watermark 两种方法Flink Source发送emitWatermarkKafkaFetcher 的emitRecordsWithTimestampssetStreamTimeCharacteristicassignTimestampsAndWaterma

Flink大数据实时计算系列-Flink的time介绍目录 Flink的time介绍Flink TumblingProcessingTimeWindows 案例Flink参考链接Flink系列博客Flink的time介绍Flink TumblingProcessingTimeWindows 案例windowAll @PublicEvolving public <W extends Window> AllWindowedStream<T, W> wind

Flink大数据实时计算系列-Flink的KafkaConsumer checkpoint容错原理目录 Flink的KafkaConsumer checkpoint容错原理FlinkKafkaConsumerFlink参考链接Flink系列博客Flink的KafkaConsumer checkpoint容错原理FlinkKafkaConsumerpackage com.flinkniu.flink.source;import org.apache.flink.api.common.rest

Flink大数据实时计算系列-Flink的Operator State与Keyed State的Redistribute目录 Flink的Operator State与Keyed State的RedistributeFlink参考链接Flink系列博客Flink的Operator State与Keyed State的RedistributeFlink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Fli

Flink大数据实时计算系列-Flink的savepoint目录 Flink的savepointname案例实战Flink参考链接Flink系列博客Flink的savepointjobidyarn模式name案例实战package com.flinkniu.flink.operator;import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flink.api.c

Flink大数据实时计算系列-Flink的state backend使用目录 Flink的state backendFlink的state backend使用FileSourceRestartStateBackendFileCountryDictSourceFuntionFileSourceRestartStateBackendFileSourceOperatorStateListCheckpointedStateBackendFileCountryDictSourceOperatorStateListC

Flink大数据实时计算系列-Flink Exactly Once及Flink的状态存储State Backend目录 Flink的状态存储State BackendFlink参考链接Flink系列博客#Flink Exactly OnceFlink的状态存储State BackendFlink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列博客Flin

Flink大数据实时计算系列-Flink的CheckPoint原理 Flink分布式环境下的CheckPoint原理Flink的CheckPointFlink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列博客Flink 第一个 JAVA代码Flink JAVA Lambda 实现Flink JAVA Funcation 实现Flink JAVA Fun

Flink大数据实时计算系列-Flink的BroadcastState的使用目录 Flink的BroadcastState的使用Flink参考链接Flink系列博客Flink的BroadcastState的使用Flink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列博客Flink 第一个 JAVA代码Flink JAVA Lambda 实现Flink JAVA Func

Flink大数据实时计算系列-Flink的Keyed state的使用目录 Flink 的Keyed state的使用Flink参考链接Flink系列博客Flink 的Keyed state的使用Flink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列博客Flink 第一个 JAVA代码Flink JAVA Lambda 实现Flink JAVA Funcation 实

Flink大数据实时计算系列-Flink的Keyed State之过期超时策略目录 Flink的Keyed StateFlink的Keyed State代码实战FileSourceOperatorKeyStateCheckpointedFileCountryDictSourceOperatorStateKeyCheckpointedFunctionFlink参考链接Flink系列博客Flink的Keyed StateTTL在hbase的应用：TTL在redis的应用：Flink的Ke

Flink大数据实时计算系列-Flink的operatorState的ListCheckpointed接口使用目录 Flink的operatorState的ListCheckpointed接口使用ListCheckpointed接口使用案例实战FileSourceOperatorStateListCheckpointedFileCountryDictSourceOperatorStateListCheckpointedFunction测试运行Flink参考链接Flink系列博客Flink的operato

Flink大数据实时计算系列-Flink的checkpoint目录 Flink的checkpointFlink参考链接Flink系列博客Flink的checkpointFlink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列博客Flink 第一个 JAVA代码Flink JAVA Lambda 实现Flink JAVA Funcation 实现Fli

Flink大数据实时计算系列-Flink的state介绍、Flink丰富的状态访问、Flink状态的分类目录 Flink的state介绍Flink丰富的状态访问Flink状态的分类Flink参考链接Flink系列博客Flink的state介绍Flink丰富的状态访问Flink状态的类型划分Flink状态的分类Flink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列

Flink大数据实时计算系列-Flink程序恢复机制目录Flink程序恢复机制Flink程序恢复机制案例实战FileSourceRestart设置Flink程序恢复代码Flink参考链接Flink系列博客Flink程序恢复机制Flink程序恢复机制案例实战FileSourceRestartpackage com.flinkniu.flink.state;import com.flinkniu.flink.source.FileCountryDictSourceFuntion;impor

Flink大数据实时计算系列-kafka的sink使用方法目录 kafka的sink使用方法Flink参考链接Flink系列博客kafka的sink使用方法Flink参考链接【Flink 官网】Apache Flink 【海牛学院】海牛社区资料【海牛学院】大数据2020最新版Flink-青牛老师倾力打造Flink系列博客Flink 第一个 JAVA代码Flink JAVA Lambda 实现Flink JAVA Funcation 实现Flink JA

Flink大数据实时计算系列-Flink自定义sinkfunction目录 Flink自定义sinkfunctionFlink参考链接Flink系列博客Flink自定义sinkfunction@Publicpublic abstract class RichSinkFunction<IN> extends AbstractRichFunction implements SinkFunction<IN> { private static final

Flink大数据实时计算系列-Flink内置的Sink目录 Flink内置的Sink基于文件输出Socket输出print输出基于文件输出writeAsText案例实战基于Socket输出案例实战Flink参考链接Flink系列博客Flink内置的Sink基于文件输出writeAsText @Deprecated @PublicEvolving public DataStreamSink<T> writeAsText(String path) {