Class Notes: Labeled Data vs Unlabeled Data in Artificial Intelligence

Generative AI | Artificial Intelligence | Machine Learning | Data Preparation

1. Introduction

In Artificial Intelligence (AI), data plays a crucial role in training Machine Learning (ML) models. Before developing an AI model, we need to collect and prepare the data that the model will use for learning.

There are two primary approaches to preparing data for AI modeling:

1. Labeled Data
2. Unlabeled Data

Understanding the difference between these two types of datasets is essential for learning how Machine Learning models are trained.

2. What Is Labeled Data?

Labeled Data is a dataset in which each data item is associated with a meaningful label, category, or target value.

In this approach, a person or an automated process identifies and assigns the correct label to each data item before the model is trained.

Example: Animal Image Classification

Imagine that we have a dataset containing 10,000 photographs of different animals, including dogs, cats, birds, and other animals.

Before starting the AI modeling process, a person carefully reviews each photograph and classifies it into the appropriate category.

For example:

Image 1

Label: Dog

The image contains a dog.

Image 2

Label: Not a Dog

The image contains a cat.

Image 3

Label: Not a Dog

The image contains a bird.

After reviewing and labeling all the photographs, we obtain a labeled dataset.

The model can then learn from the images and their corresponding labels to identify whether a new image contains a dog.

Important Points About Labeled Data

• Each data item has an associated label or target value.
• Labels may be assigned manually by humans or generated using automated processes.
• The dataset is prepared before supervised model training.
• Label quality significantly affects the model’s learning and performance.
• Labeled datasets are commonly used in Supervised Learning.

3. Labeled Data Is Not Limited to Images

The concept of labeling can be applied to different types of data, including images, text, audio, video, and other data formats.

Here are some examples:

Image Data

Assign labels such as Dog, Cat, Bird, or Vehicle to images.

Text Data

Label text as Positive, Negative, Neutral, Spam, or Harmful.

Audio Data

Associate recordings with speech transcripts, speakers, or sound categories.

Video Data

Label video clips with activities, objects, events, or actions.

Therefore, labeled data can be used in many AI applications, regardless of whether the original data is an image, text, audio recording, or video.

4. Example: Labeling YouTube Comments

Consider a collection of YouTube comments. We want to develop an AI model that can analyze comments, identify their sentiment, and flag potentially harmful content.

Before training the model, we can manually label the comments.

For example:

YouTube Comment	Sentiment Label
This tutorial is excellent!	Positive
The explanation is very poor.	Negative
The class starts at 10 AM.	Neutral
This is an amazing video.	Positive
I did not find this useful.	Negative

In this example, each comment is associated with a sentiment label.

The three primary sentiment categories are:

• Positive: The comment expresses satisfaction, appreciation, or a favorable opinion.
• Negative: The comment expresses dissatisfaction or an unfavorable opinion.
• Neutral: The comment does not clearly express positive or negative sentiment.

Once the comments are labeled, we can use them to train a Machine Learning model that predicts the sentiment of new comments.

Detecting Harmful Comments

We can also prepare a dataset for harmful-content detection.

For example:

Comment Type	Possible Label
Normal educational feedback	Safe
Abusive language	Harmful
Threatening message	Harmful
Unrelated but harmless comment	Safe

Sentiment analysis and harmful-content detection are different tasks. A negative comment is not necessarily harmful, and a positive comment is not necessarily safe.

For reliable results, the labeling rules must clearly define what each category means.

5. Advantages of Labeled Data

If labeling requires so much effort, why do we use it?

The main advantage is that high-quality labeled data provides clear learning targets for the model.

5.1 Improved Model Accuracy

When labels are accurate and representative of real-world situations, a model can learn useful relationships between input data and expected outputs.

For example, a dog-classification model can learn which visual features are associated with the Dog label.

This can improve its ability to classify previously unseen images.

5.2 More Reliable Predictions

Correctly labeled training examples help the model learn the intended classification task.

When the dataset is sufficiently large, diverse, and representative, the resulting model may perform more reliably in real-world applications.

However, labeled data alone does not guarantee reliability. Model design, training methods, data quality, and evaluation also matter.

5.3 Better Evaluation

Labeled data can be used to evaluate model predictions against known correct answers.

For example, if a test image is labeled Dog and the model predicts Dog, the prediction is correct. If the model predicts Cat, the prediction is incorrect.

This allows us to calculate evaluation metrics such as:

• Accuracy
• Precision
• Recall
• F1-score

These metrics help us understand how well the model performs.

6. Disadvantages of Labeled Data

Although labeled data has several benefits, preparing it can be challenging.

6.1 Time-Consuming Process

Manually reviewing thousands of images, text comments, audio recordings, or videos requires considerable time.

For a dataset containing 10,000 photographs, someone must inspect each photograph and assign the appropriate label if all images are labeled manually.

6.2 High Cost

Large labeling projects may require trained annotators, subject-matter experts, quality checks, and data-labeling tools.

As the dataset grows, the cost of preparing high-quality labels can increase significantly.

6.3 Human Errors and Bias

People may disagree about the correct label for a particular example.

For instance, two annotators may classify the same YouTube comment differently because its meaning is unclear.

Incorrect or inconsistent labels can negatively affect model performance.

6.4 Trade-Off Between Cost and Performance

There is a practical trade-off between the time and resources spent labeling data and the potential benefits to model performance.

Labeled Data: Main Trade-Off

Cost and Time

Manual labeling may require substantial time, effort, and money.

Potential Performance Benefits

Accurate labels can help a model learn the desired task and improve its predictions.

The goal is to determine whether the expected improvement in model quality justifies the cost of labeling.

7. What Is Unlabeled Data?

Unlabeled Data is data that does not have predefined labels or target values attached to each data item.

In this approach, we provide the raw dataset to an appropriate Machine Learning algorithm without manually assigning a category to every item.

The model then attempts to discover patterns, similarities, structures, or relationships in the data, depending on the learning method being used.

Example: 10,000 Animal Photographs

Consider the same dataset of 10,000 animal photographs.

This time, we do not ask a person to inspect every image and mark it as Dog or Not a Dog.

Instead, we provide the images directly to a suitable learning algorithm.

The images have no predefined category labels.

The model may discover that some images share similar visual features and group them together.

For example, it might identify clusters of visually similar animals. However, it will not necessarily know that a particular cluster represents dogs unless the learning process includes additional information or interpretation.

Unlabeled Data Workflow

10,000 Raw Animal Images

No predefined category labels

Machine Learning Algorithm

Analyzes features and patterns

Discovered Patterns or Groups

The results depend on the algorithm and data.

This approach can reduce the need for manually labeling every data item.

8. How Does AI Learn from Unlabeled Data?

Modern Machine Learning methods can work with unstructured data such as images, videos, text, and audio, even when predefined labels are unavailable.

Depending on the technique, the model may learn by identifying similarities, discovering patterns, representing important features, or learning relationships within the data.

One common approach is Unsupervised Learning.

Example: Grouping Animal Images

Suppose we provide an algorithm with thousands of unlabeled animal photographs.

The algorithm may analyze characteristics such as:

• Shapes and edges
• Colors and textures
• Visual similarities
• Patterns in image representations

It may then group similar photographs together.

The resulting groups can help us understand the structure of the dataset without manually specifying a category for every image.

Important: Unlabeled data does not mean that the data is meaningless or that no preparation is required. The data may still need cleaning, formatting, preprocessing, or feature extraction.

Also, not every model trained without manually assigned labels uses Unsupervised Learning. For example, Self-Supervised Learning creates training signals from the data itself, and it is widely used in modern AI systems.

9. Labeled Data vs. Unlabeled Data

The following table summarizes the main differences.

Feature	Labeled Data	Unlabeled Data
Definition	Data with predefined labels or target values	Data without predefined labels or target values
Human involvement	Often requires labeling and validation	Does not require manual labeling of every item
Preparation cost	Can be high for large datasets	Can be lower because exhaustive manual labeling may be avoided
Learning objective	Learn from known target outputs	Discover patterns, structures, or relationships
Common learning approach	Supervised Learning	Unsupervised Learning
Example	Images labeled Dog or Cat	Animal images without category labels
Evaluation	Can be compared with known target labels	May require other evaluation methods or human interpretation
Main challenge	Labeling cost, quality, and consistency	Interpreting discovered patterns and assessing their usefulness

Note that the cost difference depends on the project. Unlabeled data may still require substantial preprocessing, computing resources, and expert analysis.

10. Real-World Applications

Both labeled and unlabeled data are useful in different AI and Machine Learning applications.

Applications of Labeled Data

• Email spam detection using Spam and Not Spam labels.
• Sentiment analysis using Positive, Negative, and Neutral labels.
• Image classification using Dog, Cat, and Bird labels.
• Medical image analysis using expert-provided annotations.
• Speech recognition using audio recordings paired with transcripts.

Applications of Unlabeled Data

• Customer segmentation based on purchasing patterns.
• Grouping similar documents or articles.
• Discovering patterns in large image collections.
• Identifying unusual patterns in network traffic.
• Exploring similarities in audio, text, and video datasets.

These are common examples, not strict limitations. Some real-world systems combine labeled and unlabeled data, and some applications use other training methods.

11. Quick Revision: Test Your Understanding

1. A dataset contains 10,000 animal photographs, each marked Dog or Cat. What type of data is it?Labeled DataUnlabeled Data

2. A collection of YouTube comments has no sentiment categories assigned. What type of data is it?Labeled DataUnlabeled Data

3. What is a major disadvantage of manually labeling a very large dataset?It always reduces accuracyIt can require significant time and moneyIt prevents models from learning

4. Which learning approach commonly uses labeled training examples?Supervised LearningUnsupervised LearningNeither

Reset Quiz

12. Key Takeaways

• Labeled Data contains data items with predefined labels or target values.
• Unlabeled Data does not contain predefined labels for each data item.
• Labeling can be applied to images, text, audio, video, and other data formats.
• Labeled data is often used in Supervised Learning.
• Unlabeled data is commonly used in Unsupervised Learning.
• Manual labeling can improve the usefulness of training data when the labels are accurate, but it can be time-consuming and expensive.
• Unlabeled data allows suitable algorithms to discover patterns without requiring every item to be manually categorized.
• The choice between labeled and unlabeled data depends on the problem, available resources, data quality, and learning objective.

Conclusion

Labeled Data and Unlabeled Data are two fundamental concepts in AI modeling and Machine Learning.

When working with labeled data, we provide examples with known answers so that the model can learn the relationship between inputs and expected outputs. When working with unlabeled data, we allow suitable algorithms to explore the data and discover patterns or structures without predefined labels.

Understanding these two approaches provides a strong foundation for learning advanced topics such as Supervised Learning, Unsupervised Learning, Self-Supervised Learning, Deep Learning, and Generative AI.

Class Notes: Labeled Data vs Unlabeled Data in Artificial Intelligence (తెలుగులో)

Generative AI | Artificial Intelligence | Machine Learning | Data Preparation

1. Introduction – పరిచయం

Artificial Intelligence (AI) లో Data అనేది Machine Learning (ML) Models ను Train చేయడంలో చాలా ముఖ్యమైన పాత్ర పోషిస్తుంది. ఒక AI Model ను Develop చేయడానికి ముందు, ఆ Model ఉపయోగించే Data ను Collect చేసి, Prepare చేయాలి.

AI Modeling కోసం Data ను Prepare చేయడానికి ప్రధానంగా రెండు విధానాలు ఉన్నాయి:

1. Labeled Data
2. Unlabeled Data

ఈ రెండు రకాల Datasets మధ్య ఉన్న తేడాను అర్థం చేసుకోవడం Machine Learning నేర్చుకునే వారికి చాలా అవసరం.

2. What Is Labeled Data? – Labeled Data అంటే ఏమిటి?

Labeled Data అంటే ప్రతి Data Item కు ఒక నిర్దిష్ట Label, Category లేదా Target Value కేటాయించబడిన Data.

ఈ విధానంలో, ఒక వ్యక్తి లేదా Automated Process ప్రతి Data Item ను గుర్తించి, దానికి సరైన Label ను Assign చేస్తుంది. సాధారణంగా Supervised Learning Model ను Train చేయడానికి ముందు ఈ Labels ను Prepare చేస్తారు.

Example: Animal Image Classification

మన దగ్గర Dogs, Cats, Birds మరియు ఇతర Animals కు సంబంధించిన 10,000 Photographs ఉన్న Dataset ఉందని అనుకుందాం.

AI Modeling ప్రారంభించడానికి ముందు, ఒక వ్యక్తి ప్రతి Photograph ను జాగ్రత్తగా పరిశీలించి, అది Dog అవునా కాదా అని Classify చేస్తాడు.

ఉదాహరణకు:

Image	Label	వివరణ
Dog Photograph	Dog	ఆ Image లో Dog ఉంది.
Cat Photograph	Not a Dog	ఆ Image లో Cat ఉంది.
Bird Photograph	Not a Dog	ఆ Image లో Bird ఉంది.

ఇలా అన్ని Photographs ను పరిశీలించి, సరైన Labels Assign చేసినప్పుడు మనకు Labeled Dataset లభిస్తుంది.

తర్వాత ఈ Dataset ను ఉపయోగించి Machine Learning Model ను Train చేయవచ్చు. అప్పుడు కొత్త Image ను ఇచ్చినప్పుడు, ఆ Image లో Dog ఉందా లేదా అని Model Predict చేయడానికి నేర్చుకుంటుంది.

Labeled Data గురించి ముఖ్యమైన అంశాలు

• ప్రతి Data Item కు ఒక Label లేదా Target Value ఉంటుంది.
• Labels ను Humans Manual గా Assign చేయవచ్చు లేదా Automated Processes ద్వారా Generate చేయవచ్చు.
• Supervised Learning Model Training కోసం Labeled Data విస్తృతంగా ఉపయోగించబడుతుంది.
• Labels యొక్క Quality, Model Learning మరియు Performance పై ప్రభావం చూపుతుంది.
• సరైన Labels ఉన్నప్పుడు Model కు ఏ Output నేర్చుకోవాలో స్పష్టంగా తెలుస్తుంది.

3. Labeled Data కేవలం Images కే పరిమితం కాదు

Labeled Data అనే Concept ను వివిధ రకాల Data పై Apply చేయవచ్చు.

ఉదాహరణకు:

3.1 Image Data

Images కు Dog, Cat, Bird లేదా Vehicle వంటి Labels Assign చేయవచ్చు.

Example: Image Classification Model ఒక Image ను పరిశీలించి, అది Dog లేదా Cat అని Predict చేయడం.

3.2 Text Data

Text కు Positive, Negative, Neutral, Spam లేదా Harmful వంటి Labels Assign చేయవచ్చు.

Example: YouTube Comment ను పరిశీలించి, దాని Sentiment Positive లేదా Negative అని Identify చేయడం.

3.3 Audio Data

Audio Recordings కు Speech Transcripts, Speaker Labels లేదా Sound Categories ను Associate చేయవచ్చు.

Example: ఒక Audio Recording లో మాట్లాడిన మాటలను Text రూపంలో Transcribe చేసి, Audio ను సరైన Transcript తో Associate చేయడం.

3.4 Video Data

Video Clips కు Activities, Objects, Events లేదా Actions ఆధారంగా Labels Assign చేయవచ్చు.

Example: ఒక Video లో Person Walking, Running లేదా Playing వంటి Activities ను Identify చేయడం.

అందువల్ల, Images, Text, Audio, Video వంటి వివిధ Data Formats కు Labeled Data విధానాన్ని ఉపయోగించవచ్చు.

4. Example: YouTube Comments Labeling

మన దగ్గర చాలా YouTube Comments ఉన్నాయని అనుకుందాం.

ఈ Comments ను Analyze చేసి, వాటి Sentiment ను Identify చేయడానికి మరియు Potentially Harmful Comments ను Flag చేయడానికి ఒక AI Model ను Develop చేయాలనుకుంటున్నాం.

దీని కోసం Comments కు Manual గా Labels Assign చేయవచ్చు.

ఉదాహరణకు:

YouTube Comment	Sentiment Label
This tutorial is excellent!	Positive
The explanation is very poor.	Negative
The class starts at 10 AM.	Neutral
This is an amazing video.	Positive
I did not find this useful.	Negative

ఈ ఉదాహరణలో ప్రతి Comment కు ఒక Sentiment Label Assign చేయబడింది.

Sentiment Analysis లో మూడు ముఖ్యమైన Categories

1. Positive: Comment లో సంతృప్తి, ప్రశంస లేదా అనుకూలమైన అభిప్రాయం వ్యక్తమవుతుంది.

2. Negative: Comment లో అసంతృప్తి లేదా ప్రతికూలమైన అభిప్రాయం వ్యక్తమవుతుంది.

3. Neutral: Comment లో స్పష్టమైన Positive లేదా Negative Sentiment కనిపించదు.

ఈ విధంగా Comments కు Labels Assign చేసిన తర్వాత, కొత్త Comments యొక్క Sentiment ను Predict చేయడానికి Machine Learning Model ను Train చేయవచ్చు.

4.1 Harmful Comments Detection

YouTube Comments లో Harmful Content ను Identify చేయడానికి కూడా Labeled Dataset ను Prepare చేయవచ్చు.

ఉదాహరణకు:

Comment Type	Label
సాధారణ Educational Feedback	Safe
Abusive Language ఉన్న Comment	Harmful
Threatening Message	Harmful
హానికరం కాని, సంబంధం లేని Comment	Safe

ఇక్కడ ఒక ముఖ్యమైన విషయం గుర్తుంచుకోవాలి.

Sentiment Analysis మరియు Harmful Content Detection రెండూ వేర్వేరు Tasks.

ఒక Negative Comment తప్పనిసరిగా Harmful అవ్వాల్సిన అవసరం లేదు. అదే విధంగా, Positive Comment కూడా తప్పనిసరిగా Safe అవ్వదు.

అందువల్ల, ప్రతి Category కు సరైన Labeling Rules నిర్వచించాలి.

5. Advantages of Labeled Data – ప్రయోజనాలు

Labeled Data ను Prepare చేయడానికి చాలా సమయం, డబ్బు ఖర్చవుతుంటే, దానిని ఎందుకు ఉపయోగించాలి?

దీనికి ప్రధాన కారణం ఏమిటంటే, High-Quality Labeled Data Model కు స్పష్టమైన Learning Targets ను అందిస్తుంది.

5.1 Improved Model Accuracy

Labels ఖచ్చితంగా ఉండి, Real-World Situations ను సరైన విధంగా Represent చేసినప్పుడు, Model Input Data మరియు Expected Output మధ్య ఉన్న Relationships ను నేర్చుకోగలదు.

ఉదాహరణకు, Dog Classification Model కు Dog Images తో పాటు సరైన Dog Labels ఇస్తే, ఆ Images లోని Visual Features ను గుర్తించడం నేర్చుకోవచ్చు.

ఇది కొత్త Images ను Classify చేయడంలో సహాయపడుతుంది.

5.2 More Reliable Predictions

Correctly Labeled Training Examples ద్వారా Model తాను చేయాల్సిన Task గురించి నేర్చుకుంటుంది.

Dataset తగినంత పెద్దదిగా, Diverse గా ఉండి, Real-World Data ను Represent చేసినప్పుడు, Model యొక్క Predictions మరింత Reliable గా ఉండవచ్చు.

అయితే, Labeled Data మాత్రమే ఉంటే Model తప్పనిసరిగా Accurate అవుతుందని చెప్పలేం. Model Design, Training Methods, Data Quality మరియు Evaluation కూడా ముఖ్యమైనవి.

5.3 Better Evaluation

Labeled Data ను ఉపయోగించి Model Predictions ను Known Correct Answers తో Compare చేయవచ్చు.

ఉదాహరణకు:

• Actual Label: Dog
• Model Prediction: Dog
• Result: Correct Prediction

మరొక ఉదాహరణ:

• Actual Label: Dog
• Model Prediction: Cat
• Result: Incorrect Prediction

ఈ విధంగా Model Performance ను Evaluate చేయడానికి వివిధ Metrics ను ఉపయోగించవచ్చు.

ముఖ్యమైన Evaluation Metrics:

• Accuracy
• Precision
• Recall
• F1-score

ఈ Metrics ద్వారా Model ఎంత బాగా పనిచేస్తుందో అర్థం చేసుకోవచ్చు.

6. Disadvantages of Labeled Data – నష్టాలు

Labeled Data కు అనేక ప్రయోజనాలు ఉన్నప్పటికీ, దానిని Prepare చేయడంలో కొన్ని Challenges ఉంటాయి.

6.1 Time-Consuming Process

వేల Images, Text Comments, Audio Recordings లేదా Videos ను Manual గా పరిశీలించి Labels Assign చేయడానికి ఎక్కువ సమయం అవసరమవుతుంది.

ఉదాహరణకు, 10,000 Photographs ఉన్న Dataset లో ప్రతి Photograph ను Manual గా పరిశీలించి Label Assign చేయాలంటే గణనీయమైన సమయం పడుతుంది.

6.2 High Cost

పెద్ద Data Labeling Projects కోసం Trained Annotators, Subject-Matter Experts, Quality Checks మరియు Data Labeling Tools అవసరమవచ్చు.

Dataset Size పెరిగే కొద్దీ, High-Quality Labels ను Prepare చేయడానికి అయ్యే ఖర్చు కూడా పెరగవచ్చు.

6.3 Human Errors and Bias

ఒక Comment కు ఏ Label ఇవ్వాలనే విషయంలో ఇద్దరు వ్యక్తులు వేర్వేరు అభిప్రాయాలు కలిగి ఉండవచ్చు.

ఉదాహరణకు, ఒక YouTube Comment యొక్క Meaning స్పష్టంగా లేకపోతే, ఒక వ్యక్తి దానిని Positive గా Label చేయవచ్చు. మరొక వ్యక్తి దానిని Neutral గా Label చేయవచ్చు.

ఇలాంటి Incorrect లేదా Inconsistent Labels Model Performance పై ప్రతికూల ప్రభావం చూపవచ్చు.

6.4 Cost vs Performance Trade-Off

Labeled Data విషయంలో ముఖ్యమైన Trade-Off ఏమిటంటే, Data Labeling కోసం ఖర్చు చేసే Time మరియు Resources తో పోలిస్తే, Model Performance ఎంతవరకు మెరుగుపడుతుంది అనేది అంచనా వేయడం.

అంటే, ఎక్కువ Labels Prepare చేయడానికి అయ్యే ఖర్చు, Model Quality లో వచ్చే Improvement కు తగినదా లేదా అని పరిశీలించాలి.

7. What Is Unlabeled Data? – Unlabeled Data అంటే ఏమిటి?

Unlabeled Data అంటే ప్రతి Data Item కు ముందుగానే Predefined Label లేదా Target Value Assign చేయబడని Data.

ఈ విధానంలో, ప్రతి Data Item కు Manual గా Label Assign చేయకుండా, Raw Dataset ను సరైన Machine Learning Algorithm కు అందిస్తాం.

ఆ తర్వాత ఉపయోగించే Learning Method ఆధారంగా, Model Data లోని Patterns, Similarities, Structures లేదా Relationships ను గుర్తించడానికి ప్రయత్నిస్తుంది.

Example: 10,000 Animal Photographs

ముందు చూసిన అదే 10,000 Animal Photographs Dataset ను తీసుకుందాం.

ఈసారి ప్రతి Image ను పరిశీలించి Dog లేదా Not a Dog అని Label Assign చేయము.

బదులుగా, ఎలాంటి Predefined Category Labels లేకుండానే Images ను ఒక Suitable Machine Learning Algorithm కు అందిస్తాము.

ఈ Dataset లో Images ఉంటాయి, కానీ ప్రతి Image కు Dog, Cat లేదా Bird వంటి Category ముందుగానే Assign చేయబడదు.

Algorithm Images లోని Visual Features మరియు Similarities ను విశ్లేషించి, ఒకే రకమైన Images ను Groups గా విభజించవచ్చు.

ఉదాహరణకు, ఒకే విధమైన Visual Features కలిగిన Images ను ఒక Group లో ఉంచవచ్చు.

అయితే, ఎలాంటి అదనపు Information లేదా Interpretation లేకుండా, ఒక Group తప్పనిసరిగా Dogs ను Represent చేస్తుందని Model కు స్వయంచాలకంగా తెలిసిపోదు.

Unlabeled Data Workflow

Step 1: Raw Data Collection

10,000 Animal Images ను Collect చేస్తాము.

Step 2: Machine Learning Algorithm

Predefined Category Labels లేకుండా Images ను Algorithm కు అందిస్తాము.

Step 3: Pattern Analysis

Algorithm, Data లోని Similarities మరియు Patterns ను Analyze చేస్తుంది.

Step 4: Pattern Discovery

Algorithm ఆధారంగా Similar Images ను Groups లేదా Clusters గా విభజించవచ్చు.

ఈ Process ద్వారా ప్రతి Image కు Manual గా Label Assign చేయాల్సిన అవసరం తగ్గుతుంది.

8. How Does AI Learn from Unlabeled Data?

Modern Machine Learning Methods, Images, Videos, Text మరియు Audio వంటి Unstructured Data తో పనిచేయగలవు. ఈ Data కు ముందుగానే Labels ఉండాల్సిన అవసరం లేదు.

ఉపయోగించే Technique ఆధారంగా, Model వివిధ విధాలుగా Learning చేయవచ్చు.

ఉదాహరణకు:

• Similarities ను గుర్తించడం.
• Patterns ను Discover చేయడం.
• Data లోని Structure ను అర్థం చేసుకోవడం.
• ముఖ్యమైన Features ను Identify చేయడం.
• Data Items మధ్య Relationships ను గుర్తించడం.

ఇలాంటి విధానాల్లో ఒకటి Unsupervised Learning.

Example: Grouping Animal Images

వేల Unlabeled Animal Photographs ను ఒక Algorithm కు అందించామని అనుకుందాం.

Algorithm ఈ క్రింది Visual Characteristics ను Analyze చేయవచ్చు:

• Shapes మరియు Edges
• Colors మరియు Textures
• Visual Similarities
• Image Representations లోని Patterns

తర్వాత, Similar Photographs ను ఒకే Group లో ఉంచవచ్చు.

ఈ విధంగా ప్రతి Photograph కు Manual గా Category Specify చేయకుండానే Dataset లోని Structure ను అర్థం చేసుకోవచ్చు.

అయితే, ఈ Groups కు Dog, Cat లేదా Bird వంటి అర్థవంతమైన Labels ఇవ్వడానికి Human Interpretation లేదా Additional Information అవసరమవచ్చు.

Unlabeled Data గురించి ముఖ్యమైన విషయం

Unlabeled Data అంటే Data కు ఎలాంటి ఉపయోగం లేదని కాదు. అలాగే Data Preparation అవసరం లేదని కూడా కాదు.

కొన్ని సందర్భాల్లో Unlabeled Data ను కూడా ఈ క్రింది విధాలుగా Prepare చేయాల్సి ఉంటుంది:

• Data Cleaning
• Data Formatting
• Data Preprocessing
• Feature Extraction

అలాగే, Manual Labels లేకుండా Train చేసే ప్రతి Model కూడా Unsupervised Learning కు చెందినది కాదు.

ఉదాహరణకు, Self-Supervised Learning లో Data నుంచే Training Signals ను Create చేసుకుంటారు. ఈ విధానం Modern AI Systems లో విస్తృతంగా ఉపయోగించబడుతుంది.

9. Labeled Data vs Unlabeled Data – తేడాలు

ఈ క్రింది Table ద్వారా Labeled Data మరియు Unlabeled Data మధ్య తేడాలను అర్థం చేసుకోవచ్చు.

Feature	Labeled Data	Unlabeled Data
Definition	Predefined Labels లేదా Target Values ఉన్న Data	Predefined Labels లేదా Target Values లేని Data
Human Involvement	Labels Assign చేయడం, Validate చేయడం అవసరమవచ్చు	ప్రతి Data Item కు Manual Labeling అవసరం ఉండకపోవచ్చు
Preparation Cost	పెద్ద Datasets కోసం ఎక్కువగా ఉండవచ్చు	Manual Labeling తగ్గడం వల్ల తక్కువగా ఉండవచ్చు
Learning Objective	Known Target Outputs ఆధారంగా నేర్చుకోవడం	Patterns, Structures లేదా Relationships ను Discover చేయడం
Common Learning Approach	Supervised Learning	Unsupervised Learning
Example	Dog లేదా Cat Labels ఉన్న Images	Category Labels లేని Animal Images
Evaluation	Known Target Labels తో Compare చేయవచ్చు	ఇతర Evaluation Methods లేదా Human Interpretation అవసరమవచ్చు
Main Challenge	Labeling Cost, Quality మరియు Consistency	కనుగొన్న Patterns ను అర్థం చేసుకోవడం, వాటి ఉపయోగాన్ని Evaluate చేయడం

గమనిక: Unlabeled Data ఎప్పుడూ తక్కువ ఖర్చుతోనే సిద్ధమవుతుందని చెప్పలేం. దానికి కూడా Data Preprocessing, Computing Resources మరియు Expert Analysis అవసరమవచ్చు.

10. Real-World Applications – వాస్తవ ప్రపంచంలో ఉపయోగాలు

Labeled Data మరియు Unlabeled Data రెండూ వేర్వేరు AI మరియు Machine Learning Applications లో ఉపయోగపడతాయి.

10.1 Labeled Data Applications

1. Email Spam Detection

Emails ను Spam మరియు Not Spam అనే Labels తో Classify చేయడం.

2. Sentiment Analysis

Text Comments ను Positive, Negative మరియు Neutral గా Classify చేయడం.

3. Image Classification

Images ను Dog, Cat మరియు Bird వంటి Categories లో Classify చేయడం.

4. Medical Image Analysis

Medical Images కు Experts ద్వారా Annotations చేయించి, వాటిని Model Training లో ఉపయోగించడం.

5. Speech Recognition

Audio Recordings ను వాటికి సంబంధించిన Text Transcripts తో Pair చేసి Speech Recognition Models ను Train చేయడం.

10.2 Unlabeled Data Applications

1. Customer Segmentation

Customers యొక్క Purchasing Patterns ఆధారంగా వారిని వివిధ Groups గా విభజించడం.

2. Document Clustering

ఒకే విధమైన Documents లేదా Articles ను Groups గా విభజించడం.

3. Image Collection Analysis

పెద్ద సంఖ్యలో ఉన్న Images లోని Similarities మరియు Patterns ను Discover చేయడం.

4. Anomaly Detection

Network Traffic లో సాధారణ Patterns కు భిన్నంగా ఉన్న Activities ను గుర్తించడం.

5. Text, Audio మరియు Video Analysis

వివిధ Data Items లోని Similarities మరియు Relationships ను పరిశీలించడం.

ఈ Examples సాధారణ వినియోగాలను వివరిస్తాయి. వాస్తవ ప్రపంచంలో కొన్ని Systems, Labeled Data మరియు Unlabeled Data రెండింటినీ కలిపి ఉపయోగిస్తాయి. మరికొన్ని Systems ఇతర Learning Methods ను కూడా ఉపయోగిస్తాయి.

11. Quick Revision – మీ అవగాహనను పరీక్షించుకోండి

Question 1

10,000 Animal Photographs ఉన్న Dataset లో ప్రతి Photograph కు Dog లేదా Cat అనే Label Assign చేశారు. ఇది ఏ రకమైన Data?

A. Labeled Data
B. Unlabeled Data

Correct Answer: A. Labeled Data

Explanation: ప్రతి Photograph కు Category Label Assign చేయబడింది.

Question 2

YouTube Comments లో ఎలాంటి Sentiment Categories Assign చేయలేదు. ఇది ఏ రకమైన Data?

A. Labeled Data
B. Unlabeled Data

Correct Answer: B. Unlabeled Data

Explanation: Comments కు ముందుగానే Sentiment Labels Assign చేయలేదు.

Question 3

పెద్ద Dataset కు Manual గా Labels Assign చేయడంలో ప్రధానమైన సమస్య ఏమిటి?

A. ఇది ఎల్లప్పుడూ Accuracy ను తగ్గిస్తుంది.
B. దీనికి ఎక్కువ Time మరియు Money అవసరమవచ్చు.
C. ఇది Models నేర్చుకోకుండా చేస్తుంది.

Correct Answer: B. దీనికి ఎక్కువ Time మరియు Money అవసరమవచ్చు.

Explanation: Manual Annotation కు ఎక్కువ సమయం, ఖర్చు మరియు Quality Control అవసరమవచ్చు.

Question 4

Known Target Outputs తో కూడిన Training Examples ను సాధారణంగా ఏ Learning Approach ఉపయోగిస్తుంది?

A. Supervised Learning
B. Unsupervised Learning
C. రెండూ కాదు

Correct Answer: A. Supervised Learning

Explanation: Supervised Learning లో Input Examples తో పాటు వాటికి సంబంధించిన Target Outputs కూడా ఉంటాయి.

12. Key Takeaways – ముఖ్యమైన అంశాలు

• Labeled Data: ప్రతి Data Item కు Predefined Label లేదా Target Value ఉంటుంది.
• Unlabeled Data: ప్రతి Data Item కు ముందుగానే Predefined Label ఉండదు.
• Labels ను Images, Text, Audio, Video మరియు ఇతర Data Formats కు Assign చేయవచ్చు.
• Labeled Data ను సాధారణంగా Supervised Learning లో ఉపయోగిస్తారు.
• Unlabeled Data ను సాధారణంగా Unsupervised Learning లో ఉపయోగిస్తారు.
• Manual Labeling ఖర్చుతో కూడుకున్నదైనా, సరైన Labels Model Learning కు సహాయపడతాయి.
• Unlabeled Data ఉపయోగించడం ద్వారా ప్రతి Data Item కు Manual గా Label Assign చేయకుండానే Patterns ను Discover చేయవచ్చు.
• ఏ విధానాన్ని ఉపయోగించాలో నిర్ణయించడానికి Problem Type, Available Resources, Data Quality మరియు Learning Objective ను పరిగణనలోకి తీసుకోవాలి.

Conclusion – ముగింపు

Labeled Data మరియు Unlabeled Data అనేవి Artificial Intelligence Modeling మరియు Machine Learning లోని రెండు ముఖ్యమైన Concepts.

Labeled Data ఉపయోగించినప్పుడు, Model కు సరైన సమాధానాలు ముందుగానే తెలిసిన Examples ను అందిస్తాము. ఈ Examples ఆధారంగా Input మరియు Expected Output మధ్య ఉన్న Relationship ను నేర్చుకోవడానికి Model కు సహాయపడుతుంది.

Unlabeled Data ఉపయోగించినప్పుడు, ముందుగానే Labels Assign చేయకుండా Data ను Suitable Machine Learning Algorithms కు అందిస్తాము. ఆ Algorithms Data లోని Patterns, Similarities మరియు Structures ను Discover చేయడానికి ప్రయత్నిస్తాయి.

ఈ రెండు Concepts పై అవగాహన పెంచుకోవడం ద్వారా Supervised Learning, Unsupervised Learning, Self-Supervised Learning, Deep Learning మరియు Generative AI వంటి Advanced Topics ను నేర్చుకోవడానికి మంచి Foundation ఏర్పడుతుంది.